spark异常(一)

application state: ACCEPTED xshell任务执行完成,sql却一直running,没有任务回显

  1. 现象描述

    xshell执行sql,任务执行完了,sql却一直running,如执行create 语句,表创建好了,但是任务执行过程不显示,结果也不回显示。

    重启thrift server服务,起不起来,一直爆出Application report for application_1579084353125_1030998 (state: ACCEPTED) ,主要是state: ACCEPT

  2. 解决方案:

    1. 执行yarn application -list 查看yarn上的提交的任务
    2. 找到问题机器提交的application
    3. yarn application -kill applicationID号 (这些命令可能没有办法全局哪都可以执行,此时需要找到yarn的安装目录)
    4. 重新启动机器即可
  3. 原因分析

    由于有多个用户同时向集群提交任务或一个用户向集群同时提交了多个任务,导致yarn资源分配不够。

    同时提交了过多application,内存使用累计超过yarn对spark的最大内存,导致spark服务无法使用

  4. 参考文章

    https://blog.csdn.net/weixin_33828101/article/details/85875625

有疑问,可以加qq: 1005183115

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值