Spark作业提交到yarn上面运行遇到的坑

报错：

16/10/18 14:09:15 WARN YarnSchedulerBackend$YarnSchedulerEndpoint: Attempted to get executor loss reason for executor id 1 at RPC address jxwy10:37510, but got no response. 
Marking as slave lost.java.io.IOException: Failed to send RPC 6104913048228548402 to jxwy12/192.168.1.123:43916: java.nio.channels.ClosedChannelException

解决方案：

修改yarn-site.xml，添加下列property

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

分析：

按照上述配置提供的信息，目测是我给节点分配的内存太小，yarn直接kill掉了进程，导致ClosedChannelException

附：
yarn.nodemanager.pmem-check-enabled：
是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true
yarn.nodemanager.vmem-check-enabled：
是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。