yarn集群无法提交新任务记录始末

背景介绍

测试通知，hive提交的mr任务卡住一个小时，无法执行。

定位问题

确定是否是应用程序的问题

测试使用的是页面应用提交的任务，先确定是否是应用的问题。在yarn webUI查看，发现任务已经提交到yarn中，处于ACCEPTED状态。——确定应用已经将任务正常提交。

确定是否是hive的问题。

查看ambari界面hive组件，无报错。在hive客户端执行简单查询命令，show tables；select * from table_name；均正常执行。再执行mr任务的时候，问题复现：
select * from table_name order by id;
任务卡住，如下图：

此时hive提交mr作业到yarn集群，job已经提交完毕，基本可以确定不是hive的问题。
进一步排除hive的问题，单独执行mr任务：执行简单wordcount
写一个testfile，内容如下：

a 33
b 2
c 4
d 6

然后将这个文件上传至hdfs中的/user/hdfs目录后，执行命令：hadoop jar /usr/hdp/2.6.5.0-292/hadoop-mapreduce/hadoop-mapreduce-examples-2.7.3.2.6.5.0-292.jar wordcount testfile /tmp/output
发现同样卡住。已排除hive的问题。

mr需要提交任务到yarn中，需要确定是mr的问题还是yarn的问题。

在yarn的webui中查看任务状态发现YarnApplicationState这一行显示：ACCEPTED: waiting for AM container to be allocated, launched and register with RM.

由此可以得出，此任务的am资源无法分配，有可能是yarn资源不足导致。
继续查看webUI，发现系统资源利用率较低，内存使用率30%左右，cpu使用率60%。目前集群内只有一个spark任务在运行，处于RUNNING状态。
但是，apps Pending竟然有27个任务处于pending状态。
这27个任务，大多数是spark的任务。

问题解决：

将27个pending状态的任务全部kill掉，发现yarn集群就可以正常提交任务了。

遗留问题：

1、目前尚不清楚这27个pending任务的成因是什么。
2、yarn使用的队列是fair schedule队列，此调度原理需进一步学习