Kafka
黄土高坡上的独孤前辈
010101010101010101010101010101
展开
-
KafkaProducer(V2.0.0+)与KafkaConsumer的生产与消费分区策略
文章目录1.kafkaPorducer的Key为NULL数据如何发送到topic分区的?1.1 结论1.2 源码解析2.Kafka的Key不为Null,数据如何发送到topic分区的?2.1 结论2.2 源码解析1.kafkaPorducer的Key为NULL数据如何发送到topic分区的?1.1 结论1.2 源码解析 且听下回分解2.Kafka的Key不为Null,数据如何发送到topic分区的?2.1 结论2.2 源码解析...原创 2020-12-20 11:20:04 · 375 阅读 · 1 评论 -
Kafka的消费者组延迟监控
#!/bin/bashlag=$(/kafka/kafka_2.11-2.2.0/bin/kafka-consumer-groups.sh --bootstrap-server kafka01:9092,kafka02:9092,kafka03:9092 --describe --group $1 |sed -n "3, 5p" | awk '{lag+=$5}END{print lag}') echo $lag原创 2020-11-09 11:01:03 · 795 阅读 · 0 评论 -
kafka的高可用情况下,挂掉一个节点,为什么消费者消费不到数据了
1.假设有kafka集群,3个broker kafka集群kafka01 kafka02 kafka032.创建topic test (分区3 副本3)kafka-topics.sh --create --topic 'test' --zookeeper 'hadoop01:2181,hadoop02:2181,hadoop03:2181' --partitions 3 --replication-factor 33.场景3.1 生产者生产数据kafka-console-p原创 2020-11-12 17:29:47 · 6006 阅读 · 3 评论
分享