yarn 错误总结

• resourceManager HA配置，界面YARN NodeManager 8042 yarn.nodemanager.webapp.address http服务端口为localhost

 解决：yarn-site.xml中

<property>
      <name>yarn.nodemanager.webapp.address</name>
       <value>henghe-053:8042</value>
</property>

注：集群中的主机名不同

• 无法输入主机:8088,并且从备机跳转不到主resourceManager

解决：yarn-site.xml中

 <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>henghe-051:8088</value>
</property>

<property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>henghe-052:8088</value>
</property>

•  container 被kill掉了

解决：yarn-sit.xml中增大 yarn.scheduler.maximum-allocation-mb

 <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
       <value>8192</value>
  </property>

• yarn中单个任务的大小配置
• mapreduce中

mapreduce.map.memory.mb	置的是 Container 的内存上限，这个参数由 NodeManager 读取并进行控制
mapreduce.map.java.opts	启动 JVM 虚拟机时，传递给虚拟机的启动参数
mapreduce.reduce.memory.mb	置的是 Container 的内存上限，这个参数由 NodeManager 读取并进行控制
mapreduce.reduce.java.opts	启动 JVM 虚拟机时，传递给虚拟机的启动参数

mapreduce.map.java.opts一定要小于mapreduce.map.memory.mb

mapreduce.map.memory.mb不要超过yarn.scheduler.maximum-allocation-mb大小