kafka-storm spout拉取数据问题offset out of range

最新推荐文章于 2024-07-22 14:48:22 发布

手写代码

最新推荐文章于 2024-07-22 14:48:22 发布

阅读量3.4k

点赞数

分类专栏： kafka 文章标签： kafka

本文链接：https://blog.csdn.net/qq_15581405/article/details/54571085

版权

kafka 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

131236985 [Thread-15-spout] WARN storm.kafka.KafkaUtils - Got fetch request with offset out of range: [14026]; retrying with default start offset time from configuration. configured start offset time: [-2]
131236985 [Thread-17-spout] WARN storm.kafka.PartitionManager - Using new offset: 511883
131236985 [Thread-15-spout] WARN storm.kafka.PartitionManager - Using new offset: 511888
131236986 [Thread-15-spout] WARN storm.kafka.KafkaUtils - Got fetch request with offset out of range: [14026]; retrying with default start offset time from configuration. configured start offset time: [-2]

解决办法：
1.修改SpoutConfig.zkRoot 值
String zkRoot = “”;
SpoutConfig spoutConf = new SpoutConfig(hosts, topic, zkRoot, id);
2.将spoutConf.forceFromStart 设为 true;
原因：
storm启动的时候，默认是从头读取-2，当kafkaspout的task出错时候，会重新启动，这时候offset就会从zk中最老的offset，但kafka数据只会保存一段时间，从zk中读取道德offset的数据可能已经不存在，超过现在的范围。
kafkaspout读取的3种选项
-2: 从最老的开始读
-1: 从最近的开始读
0: 从Zk中读