在Hadoop集群运行MapReduce任务时出现卡死的情况
可能的原因如下:
Master和Slaves机器上的
hosts
文件配置的有问题Hadoop集群配置文件
yarn-site.xml
中关于资源(内存和虚拟内存的配置项)的配置不正确编写的MapReduce程序本身存在逻辑问题,导致运行卡死或者陷入死循环
在程序运行是出现内存溢出的情况,修改
hadoop-env.sh
文件中的HADOOP_HEAP_SIZE
和mapreduce-site.xml
中mapred.child.java.opts
或者减小mapred.tasktrace.map.tasks.maximumed
和mapred.tasktrace.reduce.tasks.maximumed
程序运行时出现了数据倾斜的情况,打散数据,均匀分布到集群的各个节点进行处理