本文探讨了Spark Streaming作业在YARN-cluster环境下遇到的问题，即在只有一个核心的配置下，仅能消费数据而无法处理。解决办法在于增加executor数量。解决后，作业恢复正常并能同时消费和处理数据。
现象：sparkStreaming 作业 local[*] 可以正常消费到数据并处理，但提交到yarn-cluster后只消费到数据但没有处理，从 Streaming Statistics 可见只有消费到数据，但没有处理
原因: 提交命令时只配置了1个 container ，确切的说是1个 core ，该 core 被分配用于消费数据，没有core可以用来处理，通过executor界面可以看到
spark-submit --master yarn-cluster --num-executors 1 --executor-memory 1G
解决：将 --num-executors 1 改为 --num-executors 2
spark-submit --master yarn-cluster --num-executors 2 --executor-memory 1G
正常截图：
9638
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
