问题:一直在跑的任务突然怎么都跑不成功了。
查看日志,没有具体报错原因,主要看到Reason :Container marked as failed.exit status:143
由此怀疑是容器资源不够无法起起来。遂更改yarn相关配置。主要是修改最小容器内存和内容增量加大。
然并卵。无论怎么调还是不够内存。
因此开始认真找报错原因。
查询container日志方法:
yarn上找到application的日志之前 可以看到在哪个node节点上执行的
然后去相应的node节点机器上,进入路径:
cd /yarn/container-logs/
ll 看看里面的日志:
最后可以看到是udf函数 java程序报错,可以看到是哪条数据传进的参数导致的。最后解决问题。