kafka
马斯特杨
这个作者很懒,什么都没留下…
展开
-
Flink 1.10消费kafka topic 设置偏移量的几种方式
所以必须配置group.id参数从消费者组提交的偏移量开始读取分区(kafka或zookeeper中)。如果找不到分区的偏移量,auto.offset.reset将使用属性中的设置。如果是默认行为(setStartFromGroupOffsets),那么任务从检查点重启,按照重启前的offset进行消费,如果直接重启不从检查点重启并且group.id不变,程序会按照上次提交的offset的位置继续消费。如果group.id改变了,则程序按照auto.offset.reset设置的属性进行消费。但是如果程序带原创 2020-05-29 21:25:57 · 4066 阅读 · 0 评论 -
Kafka:常见操作和Demo运行
Kafka常用操作命令Kafka 从 2.2 版本开始将 kafka-topic.sh 脚本中的 −−zookeeper 参数标注为 “过时”,推荐使用 −−bootstrap-server 参数。若读者依旧使用的是 2.1 及以下版本,请将下述的 --bootstrap-server 参数及其值手动替换为 --zookeeper zk1:2181,zk2:2181,zk:2181。一定要注意...原创 2020-05-04 00:08:04 · 554 阅读 · 0 评论