kafka
新世界的海贼
这个作者很懒,什么都没留下…
展开
-
修改kafka topic的offset几种方法
查询topic的offset的范围用下面命令可以查询到topic:test broker:suna:9092的offset的最小值:bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list suna:9092 -topic test --time -2输出test:0:1288查询offset原创 2016-12-15 10:44:11 · 44913 阅读 · 0 评论 -
Spark-streaming-2.0-Kafka数据接收并行度源码解析
Streaming从kafka接收数据有Receiver和direct两种方式。下面我们看一下这两种方式的源码。Direct approach这种方式是使用kafka的低阶API从kafka消费数据。一般如果需要自行维护partition的offset,实现自定义checkpoint文件,或者exactlyOnce场景下就会用到这一方式。首先需要看一下DirectKafkaInputD转载 2016-12-23 11:07:01 · 2875 阅读 · 0 评论 -
Kafka 如何读取offset topic内容 (__consumer_offsets)
众所周知,由于Zookeeper并不适合大批量的频繁写入操作,新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中,即__consumer_offsets topic,并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。 不过依然有很多用户希望了解__consumer_offsets topic内部到底保存了什么信息转载 2016-12-19 15:14:13 · 8418 阅读 · 0 评论