CDH中的YARN 与HDFS 一点隐藏关系

CDH中的YARN 与HDFS 一点隐藏关系

今天清明节假期第二天，上午日常远程连一下公司服务器，看看跑批作业是否OK

然后发现 CDH Hadoop集群中提交到Yarn上的MapReduce作业跑的非常慢，而且经常是 Map 0%，Reduce 0%的状态卡主

一开始以为是Yarn出了问题，检查Yarn组件都OK，然后我Kill一个MapReduce作业，发现其他的作业进度开始跑动

但是一会儿，重新提交的作业还是经常卡主，看了半天Log 也没找到原因，以为是Spark占用的太多IO，导致MapReduce作业资源不足，那就一个一个跑吧。

然后更令我崩溃的事发生了，跑了20几个作业后，新提交的作业状态都PENDING，全部挂起。

无论我杀掉作业还是重启组件，还是重启集群，新提交的作业都会在Map 和Reduce 一定程度后全部挂起

既不报错，也不进行。

最后和同事沟通，发现之前也有过类似的状况，是因为HDFS的容量不多了，然后他删除了一下原始数据跑批速度就恢复正常了。

我试了一下，果然是这个原因。

猜测是Hadoop有些机制，导致HDFS空间不多时，不在向HDFS中写入数据。

这坑了我一天假期