spark-shell启动报错:./spark-shell: line 44: 5271 已杀死

最近接触Spark的,在已经配置好的集群master上启动spark-shell时,出现此错误。除此之外,命令行再无其他提示信息,上下滚动,就连ERROR提示都没发现,很是疑惑。

解决步骤如下:

1. 先是打开spark webui,查看Completed Applications,按照Submitted Time,找到最新的一条启动记录,打开:


查看application详细:(当然,以下截图,是启动成功的。启动失败的,State列为killed


找到Logs列,打开stderr,发现以下错误提示:

ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM ver


2. 紧接着查找此错误,但是网上搜到的大多和spark无关,只在一篇文章下,看到,可能是内存问题,可通过加大excutor-memory值的方式解决。然后开始尝试,

把master和多个slave的memory改大。原以为这样就行了,但是此处出现了一点点意外。 由于机器配置了很多环境,可用内存不多,所以就暂且都改成了小数*.5

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值