spark
铁木匠
你可以不去做一个CTO,但是你依然应该拥有成为CTO的能力!
展开
-
spark streaming 消费kafka出现OffsetOutOfRangeException异常
一、相关主要组件说明1、spark 版本2.4.32、kafka 版本0.103、scala 版本2.114、通过redis手动维护kafka的offset二、出现的异常如下org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {logs.topic.records-50=3709}原创 2020-05-09 15:39:36 · 3671 阅读 · 0 评论 -
spark streaming 消费kafka出现[No current assignment for partition...]异常
一、相关主要组件说明1、spark 版本2.4.32、kafka 版本0.103、scala 版本2.114、通过redis手动维护kafka的offset5、spark streaming结合kafka选用的消费者策略为Subscribe ConsumerStrategy<String, String> subscribe = ConsumerStrategies.Subscribe(topicList, kafkaParams, topicPartitionMap);<原创 2020-05-09 15:03:37 · 3578 阅读 · 0 评论