这几天因为数据源更改的原因,每天一个任务运行的作业数是8w多个,每当运行到4w多的时候,整个任务就被kill掉了,追踪日志得到原因。resourceManager的配置yarn.app.mapreduce.am.resource.mb设置为1GB,造成内存溢出,而导致作业被杀死。将参数修改为3GB。
附作业错误log:
这几天因为数据源更改的原因,每天一个任务运行的作业数是8w多个,每当运行到4w多的时候,整个任务就被kill掉了,追踪日志得到原因。resourceManager的配置yarn.app.mapreduce.am.resource.mb设置为1GB,造成内存溢出,而导致作业被杀死。将参数修改为3GB。
附作业错误log: