前言
因为公司测试集群很low,所以yarn调度默认配置不满足,本来计算出来结果是资源刚刚够,但是死活起动不了job。
解决办法
修改配置文件
vim capacity-scheduler.xml
默认0.1修改的大些,我直接改到0.5
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>0.5</value>
<description>
Maximum percent of resources in the cluster which can be used to run
application masters i.e. controls number of concurrent running
applications.
</description>
</property>
总结
资源不够,调优来凑,谁叫咱收了人家的钱呢,不多说了继续干活!