Spark on YARN、KAFKA、Logger 的重要参数
使用spark.streaming.kafka.consumer.poll.ms和reconnect.backoff.ms解决spark streaming消费kafka时任务不稳定的问题问题描述在用spark streaming程序消费kafka的数据时,遇到了一个神奇的现象:同样的数据量、相似的数据,在消费时,有些批次的数据在做map操作时神奇的多了40多秒,具体看下面的数据:在map操作时,有些是几秒,有些稳稳的是41s!如果是偶然出现还好,但是,大部分的作业都是在map时花了刚好41s。这就
原创
2020-09-28 17:58:31 ·
508 阅读 ·
0 评论