AI 提效辅助定位问题—spark streaming 只分配 driver 问题定位

公众号，人工智能AI之路，有全部文章合集，欢迎关注。

1. 问题现象

一个 spark streaming 的任务在通过 submit 提交之后，显示为 running 状态，但是实际对应的处理任务并没有被处理，相关 topic 还是处于堆积状态。

2. 定位解决

1.登录 spark streaming 的 web ui 界面，看 streaming 和 job tab 页，发现没有任务在执行。

2.进入 executor 页面，查看只分配了 driver ，没有分配其他的 executor 

3.初步判断是资源调度出问题了，把问题抛给 AI

问：yarn 提交spark-submit之后为什么只有driver没有executor？

答：可能是由于以下原因导致提交的spark-submit只有driver没有executor：

资源不足：如果集群中的资源不足以支持启动executor，那么只会启动driver。可以通过增加集群的资源来解决这个问题。

配置问题：可能是由于配置文件中的某些参数设置不正确，导致executor无法启动。可以检查spark-submit命令中的参数以及集群的配置文件，确保配置正确。

代码问题：可能是你的代码中存在一些问题，导致executor无法启动。可以检查你的代码逻辑，确保没有错误