今天试着用Spark on YARN集群提交一个任务,读取的文件路径是本地的,结果报了这个错误。
Scheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers
在网上查阅资料发现是有一些Executor启动失败,询问老师之后才知道
Spark读文件是Task读取的,文件没有发送到集群的每个节点上,有些Executor读文件读不到,所以这些些Executor无法启动成功。