yarn进群问题
向阳飞行
还在学习的路上
展开
-
yarn集群匿名用户触发任务
在公司的云集群中测试mr任务,总是被kill,报错:application killed by user;在yarn集群的resourceManager查看任务有多个并不断增加的dr.who提交的任务;问题追踪得到的是:集群被攻击,通过yarn集群的8088端口进入服务器,拉取脚本并执行(curl)表现:yarn集群的匿名用户任务杀不干净,服务器有两个可疑进程:curl,sh,一个拉去...原创 2018-10-13 18:10:36 · 1292 阅读 · 0 评论 -
spark yarn-cluster模式参数配置
现象:在提交spark任务时指定executor-memory 2g时报错Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Required executor memory (2048+384 MB) is above the max ...原创 2018-10-19 10:14:20 · 1887 阅读 · 0 评论 -
CDH集群配置资源队列
CDH集群配置资源队列实现资源隔离避免集群阻塞原创 2018-11-14 09:47:51 · 3076 阅读 · 0 评论