最近接触Spark的,在已经配置好的集群master上启动spark-shell时,出现此错误。除此之外,命令行再无其他提示信息,上下滚动,就连ERROR提示都没发现,很是疑惑。
解决步骤如下:
1. 先是打开spark webui,查看Completed Applications,按照Submitted Time,找到最新的一条启动记录,打开:
查看application详细:(当然,以下截图,是启动成功的。启动失败的,State列为killed)
找到Logs列,打开stderr,发现以下错误提示:
ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM ver
2. 紧接着查找此错误,但是网上搜到的大多和spark无关,只在一篇文章下,看到,可能是内存问题,可通过加大excutor-memory值的方式解决。然后开始尝试,
把master和多个slave的memory改大。原以为这样就行了,但是此处出现了一点点意外。 由于机器配置了很多环境,可用内存不多,所以就暂且都改成了小数*.5的