![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
willwill1101
人老心不老
展开
-
kafka之partition消费者并行度测试心得
kafka是一个不错的日志收集的消息服务器,数据全部持久化到磁盘,内存开销比较少。 今天做了一个测试,测试场景如下 1.kafka的topic为tr,partition为3 2.consumer4个每个配置topicCountMap为1(每个客户端一个线程) 3.启动4个consumer 4.启动Producer发送1000个消息 测试结果如: 1.有3个consumer接收到原创 2015-12-24 11:37:36 · 6541 阅读 · 1 评论 -
如何确定Kafka的分区数、key和consumer线程数
在Kafak中国社区的qq群中,这个问题被提及的比例是相当高的,这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。 怎么确定分区数? “我应该选择几个分区?”——如果你在Kafka中国社区的群里,这样的问题你会经常碰到的。不过有些遗憾的是,我们似乎并没有很权威的答案能够解答这样的问题。其实这也不奇怪,毕竟转载 2016-02-23 12:44:29 · 689 阅读 · 0 评论 -
kafka0.72扩容和磁盘优化
kafka0.72扩容 增加机器 增加节点 使用多磁盘 磁盘io优化原创 2016-04-08 17:11:07 · 2743 阅读 · 0 评论 -
kafka0.7x到kafka0.8x改变一
kafka0.7x到kafka0.8x改变一 0.8x版本开始新group读取数据时从最新的开始,之前版本反之。 kafka0.7x版本配置项autooffset.reset 默认smallest 从最老数据开始 kafka0.8x版本配置项auto.offset.reset 默认largest 从最新数据开始原创 2016-06-08 15:49:08 · 678 阅读 · 0 评论