kafka
码太狼
这个作者很懒,什么都没留下…
展开
-
kafka源代码(一)kafka的网络框架
Kafka的网络模块没有使用第三方库,全部依赖于java的nio,包括selector、channel、buffer等。搞清楚kafka的网络模块,对我们线上kafka的调优有很大帮助。kafka的总体网络结构如下图所示:大致为分为:1.acceptorsocket请求直接发送给acceptor,acceptor是nio里面的selector,整个kafka里面只有一个acceptor,单线程。private[kafka] class Acceptor(val endPoint: EndP原创 2020-08-25 16:04:54 · 1108 阅读 · 0 评论 -
Kafka Performance Benchmark
摘要kafka集群部署后,一般都要进行对kafka进行性能测试,观察各硬件资源指标。这里只给出kafka集群测试的方法。kafka测试的方法是使用kafka自己的kafka-producer-perf-test命令。命令usage: producer-performance [-h] --topic TOPIC --num-records NUM-RECORDS --record-size...原创 2019-07-12 17:28:54 · 832 阅读 · 0 评论 -
kafka重新分配partition
摘要当kafka集群扩容时,新加入的节点可以很平滑的加入到集群中。但是原来创建的topic并不会将partition数据均匀的分配到这个节点上,只有新创建的topic才会分配到新的节点上。这时就可以用kafka的kafka-reassign-partitions.sh工具来进行手动平均分配。This command moves topic partitions between replicas...原创 2019-07-19 14:00:26 · 1391 阅读 · 0 评论 -
【问题排查】kafka0.10.x过期数据不会自动删除问题
摘要线上环境kafka集群空间一共是8TB*12(disk)*4(node)=384TB,容量算是非常充裕了,而且每个topic设置的数据过期时间都是15天,但是发现磁盘容量已经80%。预估了下每天的数据增量,存满80%至少得5个月的数据。是过期数据没有删除吗?还是配置不起效?还是其他原因。问题情况检查了多个topic 节点上kafka-logs目录文件夹中的数据情况,发现如下情况。1.绝...原创 2019-08-15 10:40:13 · 2268 阅读 · 3 评论