![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 77
龙腾四海365
IT
展开
-
kafka9使用demo
kafka9使用demo 新的Comsumer API不再有high-level、low-level之分了,而是自己维护offset。这样做的好处是避免应用出现异常时,数据未消费成功,但Position已经提交,导致消息未消费的情况发生。通过查看API,新的Comsumer API有以下功能: Kafka可以自行维护Offset、消费者的Position。也可以开发者自己来原创 2017-06-03 17:34:22 · 788 阅读 · 0 评论 -
kafka9重复消费问题解决
kafka9重复消费问题解决 背景:之前用的kafka客户端版本是0.8,近期升级了kafka客户端的版本,写了新的消费者和生产者的代码,在本地测试没有问题,可以正常消费与生产。但最近的项目中使用了新版的代码,当数据量较大时会出现重复消费的问题。现将问题的排除与解决过程记录下来,避免再次踩坑。 问题发现:由于ConsumerRecord对象可以获取到当前消息的分区与偏移量,故在原创 2017-06-07 15:46:32 · 24180 阅读 · 2 评论 -
Kafka常用命令汇总
Kafka常用命令汇总 0.查看有哪些主题: ./bin/kafka-topics.sh --list --zookeeper 172.16.13.64:2181 1.查看topic的详细信息 ./bin/kafka-topics.sh -zookeeper 172.16.13.64:2181 -describe -topic test 2、为top原创 2017-06-09 09:47:53 · 565 阅读 · 0 评论 -
Kafka8使用Demo
Kafka8使用Demo 消费者: import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Properties; import kafka.consumer.Consumer; import kafka.consumer.ConsumerConfig; impor原创 2017-06-09 10:09:37 · 508 阅读 · 0 评论