kafka
傻大喵
一个年轻人的奋斗历程
展开
-
kafka参数
转载自:http://ju.outofmemory.cn/entry/119243Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。本文列出了一些重要的配置参数。官方的文档 Configuration比较老了,很多参数有所变动, 有些名字也有所改变。我在整理的过程中根据0.8.2的代码也转载 2017-06-23 12:03:03 · 347 阅读 · 0 评论 -
kafka中partition和消费者对应关系
1个partition只能被同组的一个consumer消费,同组的consumer则起到均衡效果消费者多于partitiontopic: test 只有一个partition创建一个topic——test,bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitio转载 2017-07-13 14:49:32 · 2903 阅读 · 0 评论 -
@KafkaListener通过配置加载多个topic
接到领导的一个需求,希望封装一下kafka的消费者,可以从配置读取topic进行消费;一开始首先想到的是用java kafka的高阶api手工根据topic创建消费者,一个topic创建一个消费者,依赖zookeeper完成kafka内部的balance和其他管理。后来领导又提出不要依赖zookeeper,之前老是rebalance失败。 调研了一下,手工实现类似sp...原创 2019-02-19 15:38:32 · 15195 阅读 · 15 评论