Got fetch request with offset out of range(kafka-storm)

最新推荐文章于 2024-07-22 14:48:22 发布

OCEAN__

最新推荐文章于 2024-07-22 14:48:22 发布

阅读量1.7k

点赞数

文章标签： kafka storm offset

本文链接：https://blog.csdn.net/oceanyang520/article/details/80454633

版权

Got fetch request with offset out of range
解决办法：
spoutConfig.forceFromStart = true; // 0.10.0 之前的用这个
spoutConfig.ignoreZkOffsets=true; //storm0.10.0版本的是ignoreZkOffsets（即forceFromStart ）

SpoutConfig spoutConfig = new SpoutConfig(brokerHosts, topicName, "", null==id||"".equals(id)?"defaultId":id);
        spoutConfig.scheme = new SchemeAsMultiScheme(new StringScheme());
        spoutConfig.zkServers = Arrays.asList("47.97.63.1");
        spoutConfig.zkPort = Integer.valueOf("2181");
        //spoutConfig.forceFromStart = true; // 0.10.0 之前的用这个
        spoutConfig.ignoreZkOffsets=true;  //storm0.10.0版本的是ignoreZkOffsets（即forceFromStart ）

原因，参考https://blog.csdn.net/qq_15581405/article/details/54571085
storm启动的时候，默认是从头读取-2，当kafkaspout的task出错时候，会重新启动，这时候offset就会从zk中最老的offset，但kafka数据只会保存一段时间，从zk中读取的offset的数据可能已经不存在，超过现在的范围。
kafkaspout读取的3种选项
-2: 从最老的开始读
-1: 从最近的开始读
0: 从Zk中读