kafka java 两种api,Kafka2.4发布——新特性介绍（附Java Api Demo代码）

新功能

允许消费者从最近的副本进行获取

为 Consumer Rebalance Protocol 增加对增量协同重新均衡(incremental cooperative rebalancing)的支持

新增 MirrorMaker 2.0 (MM2)，新的多集群跨数据中心复制引擎

引入新的 Java 授权程序接口

支持 KTable 中的非密钥连接

用于重新分配副本的 Administrative API

保护内部连接的 REST 端点

新增删除消费者偏移并通过 AdminClient 公开的 API

改进

[KAFKA-5609] - 连接 log4j 会默认记录到文件

[KAFKA-6263] - 为群组的元数据加载持续时间暴露指标(Metric)

[KAFKA-6883] - KafkaShortnamer 允许将 Kerberos 主体名称转换为大写用户名

[KAFKA-6958] - 允许使用 KStreams DSL 定义自定义处理器名称

[KAFKA-7018] - 持久使用 memberId 以重新启动消费者

[KAFKA-7149] - 减少分配数据大小以提高 kafka 流的可伸缩性

[KAFKA-7190] - 在数据传输拥挤的情况下，清除分区 topic 会引起关于 UNKNOWN_PRODUCER_ID 的 WARN 语句

[KAFKA-7197] - 升级至 Scala 2.13.0

2.4 Java Api Demo

这里使用官网推荐的，kafka-client 方便 灵活

引入依赖：

org.apache.kafka

kafka-clients

2.4.0

生产者示例：

public class SimpleProvider {

public static void main(String[] args) {

Properties properties = new Properties();

properties.put("bootstrap.servers", "kafka01:9092,kafka02:9092");

properties.put("acks", "all");

properties.put("retries", 0);

properties.put("batch.size", 16384);

properties.put("linger.ms", 1);

properties.put("buffer.memory", 33554432);

properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");

properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

KafkaProducer kafkaProducer = new KafkaProducer(properties);

for (int i = 1; i <= 600; i++) {

kafkaProducer.send(new ProducerRecord("topic", "message"+i));

System.out.println("message"+i);

}

kafkaProducer.close();

}

}

消费者示例：

public class SingleApplication {

public static void main(String[] args) {

Properties props = new Properties();

props.put("bootstrap.servers", "kafka01:9092，kafka02:9092");

props.put("group.id", "test");

props.put("enable.auto.commit", "true");

props.put("auto.commit.interval.ms", "1000");

props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

props.put("auto.offset.reset","earliest");

KafkaConsumer consumer = new KafkaConsumer<>(props);

consumer.subscribe(Arrays.asList("foo", "bar"));

try{

while (true) {

ConsumerRecords records = consumer.poll(1000);

for (ConsumerRecord record : records) {

System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());

}

}

}finally{

consumer.close();

}

}

}

其他多线程等示例，详见Github地址：

更多实时计算,Flink,Kafka等相关技术博文，欢迎关注实时流式计算