Kafka的java API模拟生产者发消息(带回调)。执行下面的函数控制台会立刻结束返回,但是并不会打印出回调函数返回的内容,而且消费者也无法消费到数据。
public class NewProducerCallback {
public static void main(String[] args) throws InterruptedException {
Properties props = new Properties();
// Kafka服务端的主机名和端口号
props.put("bootstrap.servers", "s00:9092");
// 等待所有副本节点的应答
props.put("acks", "all");
// 消息发送最大尝试次数
props.put("retries", 0);
// 一批消息处理大小
props.put("batch.size", 16384);
// 增加服务端请求延时
props.put("linger.ms", 1);
// 发送缓存区内存大小
props.put("buffer.memory", 33554432);
// key序列化
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
// value序列化
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
KafkaProducer<String, String> kafkaProducer = new KafkaProducer<>(props);
for (int i = 0; i < 5; i++) {
// 为什么回调这部分不能打印出来?在调试的时候,稍等一会才可以? 这是因为后面没有加上 producer.close() 导致程序执行完了,但是客户端不确定是否要发到broker上去
kafkaProducer.send(new ProducerRecord<String, String>("test", "hello back2 - " + i), new Callback() {
@Override
public void onCompletion(RecordMetadata metadata, Exception exception) {
System.out.println(metadata.partition() + "---" + metadata.offset());
if (exception == null) {
System.out.println(metadata.partition() + "---" + metadata.offset());
}
}
});
}
}
}
过一段时间后,在消费者会出现一个警告,如下:
[2019-04-06 10:16:07,238] WARN Client session timed out, have not heard from server in 4003ms for sessionid 0x169d74bbb41002e (org.apache.zookeeper.ClientCnxn)
说明其实Kafka还是在维护这个生产者,但是实际上生产者已经退出了。所以有警告。
【解决方法】让生产者常驻后台或者正常关闭生产者
//方法1
Thread.sleep(1000); // 休眠(模拟生产常驻进程)
// 方法2
kafkaProducer.close(); // 关闭生产者,让程序立刻推数据到broker