kafka数据生产过慢,spark拉取不到数据报错
kafka数据消费的情况一般分为两种:a.数据生产过快,消费者消费不及时,造成数据丢失b.数据生产过慢,消费者半天消费不到一条数据,造成poll超时解决:(只针对情况b)a.sparkConf配置参数:加大poll不到数据的超时时长(参数大小视情况而定)val conf: SparkConf = new SparkConf().setAppName(this.getClass.getName).set(“spark.streaming.kafka.consumer.poll.ms”, “10000
原创
2020-10-20 18:13:05 ·
756 阅读 ·
0 评论