kafka java接口_Kafka（五）Kafka的API操作和拦截器

一 kafka的API操作

1.1环境准备

1)在eclipse中创建一个java工程

2)在工程的根目录创建一个lib文件夹

3)解压kafka安装包，将安装包libs目录下的jar包拷贝到工程的lib目录下，并build path。

4)启动zk和kafka集群，在kafka集群中打开一个消费者

[root@node21 kafka]$ bin/kafka-console-consumer.sh --zookeeper node21:2181,node22:2181,node23:2181  --topic firstTopic

这里用maven，pom文件引入依赖

org.apache.kafka

kafka_2.11

1.1.0

1.2生产者Java API

1.2.1创建生产者(过时API)

package com.xyg.kafka.producer;

import kafka.javaapi.producer.Producer;

import kafka.producer.KeyedMessage;

import kafka.producer.ProducerConfig;

import java.util.Properties;public classOldProducer {

@SuppressWarnings("deprecation")public static voidmain(String[] args) {

Properties properties= newProperties();

properties.put("metadata.broker.list", "node21:9092,node22:9092,node23:9092");

properties.put("request.required.acks", "1");

properties.put("serializer.class", "kafka.serializer.StringEncoder");

Producer producer = new Producer(newProducerConfig(properties));

KeyedMessage message = new KeyedMessage("firstTopoic", "hello world");

producer.send(message );

}

}

1.2.2 创建生产者(新API)

package com.xyg.kafka.producer;import java.util.Properties;

import org.apache.kafka.clients.producer.KafkaProducer;

import org.apache.kafka.clients.producer.ProducerRecord;public classNewProducer {public static voidmain(String[] args) {

Properties props= newProperties();//Kafka服务端的主机名和端口号

props.put("bootstrap.servers", "node21:9092,node22:9092,node23:9092");//等待所有副本节点的应答

props.put("acks", "all");//消息发送最大尝试次数

props.put("retries", 0);//一批消息处理大小

props.put("batch.size", 16384);//请求延时

props.put("linger.ms", 1);//发送缓存区内存大小

props.put("buffer.memory", 33554432);//key序列化

props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");//value序列化

props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

KafkaProducer producer = new KafkaProducer<>(props);for (int i = 0; i < 50; i++) {

ProducerRecord record = new ProducerRecord("firstTopic", Integer.toString(i), "hello world-" +i);

producer.send(record);

System.out.println(record);

}

producer.close();

}

}

1.2.3创建生产者带回调函数(新API)

package com.xyg.kafka.producer;

import java.util.Properties;

import org.apache.kafka.clients.producer.Callback;

import org.apache.kafka.clients.producer.KafkaProducer;

import org.apache.kafka.clients.producer.ProducerRecord;

import org.apache.kafka.clients.producer.RecordMetadata;public classCallBackProducer {public static voidmain(String[] args) {

Properties props= newProperties();//Kafka服务端的主机名和端口号

props.put("bootstrap.servers", "node22:9092,node22:9092,node23:9092");//等待所有副本节点的应答

props.put("acks", "all");//消息发送最大尝试次数

props.put("retries", 0);//一批消息处理大小

props.put("batch.size", 16384);//增加服务端请求延时

props.put("linger.ms", 1);//发送缓存区内存大小

props.put("buffer.memory", 33554432);//key序列化

props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");//value序列化

props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

KafkaProducer kafkaProducer = new KafkaProducer<>(props);for (int i = 0; i < 10; i++) {

kafkaProducer.send(new ProducerRecord("firstTopic", "hello" + i), newCallback() {

@Overridepublic voidonCompletion(RecordMetadata metadata, Exception exception) {if (metadata != null) {

System.out.println(metadata.partition() + "---" +metadata.offset());

}

}

});

}

kafkaProducer.close();

}

}

控制台打印输出如下：

1---17

1---18

1---19

1---20

2---11

2---12

2---13

0---22

0---23

0---24Process finished with exit code0

1.2.4自定义分区生产者

0)需求：将所有数据存储到topic的第0号分区上

1)定义一个类实现Partitioner接口，重写里面的方法(过时API)

package