hadoop yarn配置错误修正

最新推荐文章于 2024-06-28 10:18:31 发布

梦里花又落

最新推荐文章于 2024-06-28 10:18:31 发布

阅读量5.5k

点赞数 1

分类专栏： Hadoop 文章标签：分布式 yarn

本文链接：https://blog.csdn.net/qq_19244267/article/details/52461218

版权

本文主要讨论了在Hadoop执行过程中遇到的YARN日志聚合IP错误问题，以及如何在Uber模式下解决这个问题。通过对`yarn.log-aggregation-enable`属性的设置，将值设为`true`，可以启用日志聚合功能，从而帮助调试和理解job执行后的状态。

摘要由CSDN通过智能技术生成

hadoop执行log查看IP错误

  <property>
    <name>yarn.resourcemanager.address</name>
    <value>bigdata01:8032</value>
  </property>
  <property>
     <name>yarn.resourcemanager.scheduler.address</name>
     <value>bigdata01:8030</value>
  </property>
  <property>
     <name>yarn.resourcemanager.resource-tracker.address</name>
     <value>bigdata01:8031</value>
  </property>
  <property>
     <name>yarn.resourcemanager.admin.address</name>
     <value>bigdata01:8033</value>
   </property>
   <property>
      <name>yarn.resourcemanager.webapp.address</name>
      <value>bigdata01:8088</value>
   </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                 <name>yarn.resourcemanager.hostname</name>
                 <value>bigdata01</value>
         </property>
       <span style="color:#ff0000;"> <property>
                 <name>yarn.nodemanager.hostname</name>
                <value>bigdata01</value>
        </property>
        <property>
          <name>yarn.nodemanager.webapp.address</name>
            <value>bigdata01:8042</value>
        </property></span>
        <property>
            <name>yarn.log-aggregation-enable</name>
            <value>true</value>
        </property>

yarn-site.xml配置文件如果不配置上述红色字体的配置，则图片中标注处默认localhost:8042，则无法进行跳转。

修正后：