yarn调优-提升并发应用数

为什么80%的码农都做不了架构师？>>>   

架构：yarn+hive

问题：yarn中使用capacity scheduler做任务调度，创建了三个队列分别为不同的场景提供服务。后来发现一个问题，在集群资源充裕的情况下，yarn中的并发applicaiton都特别少，在hive管理界面上，查看应用状态，提示：“ACCEPTED：waiting  for AM contrainer to be allocated,launched and register with RM.”查资料后，我的理解应该是application在等待任务contrainer，由于拿不到资源，导致pending，同时检查memory used和vcores used两个指标均只用了一半资源，集群利用效率上不去

解决：在检查yarn的队列配置中主要有两个参数用来控制application的资源分配

yarn.scheduler.capacity.<queue-path>.user-limit-factor：每个用户能使用队列资源的上线，默认是10，即：10%，因为我们的场景都是单用户使用该队列，我们调到了100；

yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent：队列资源拿多少资源出来分配给application（注意：yarn中container有两种用途，一种是分配给application，另外一种是分配给map或者reducer任务）

重启服务器后，观察队列的使用情况，集群效率低的问题得到了很大的改善。

转载于:https://my.oschina.net/psuyun/blog/849457