sparkStreaming yarn-cluster消费到了数据但没有处理
现象:sparkStreaming 作业 local[*] 可以正常消费到数据并处理,但提交到yarn-cluster后只消费到数据但没有处理,从 Streaming Statistics 可见只有消费到数据,但没有处理
原因: 提交命令时只配置了1个 container ,确切的说是1个 core ,该 core 被分配用于消费数据,没有core可以用来处理,通过executor界面可以看到
spark-submit --master yarn-cluster --num-executors.
原创
2021-06-21 17:55:57 ·
158 阅读 ·
0 评论