spark学习-运行spark on yarn 例子和查看日志.

最新推荐文章于 2024-08-14 16:26:58 发布

hobbit先生

最新推荐文章于 2024-08-14 16:26:58 发布

阅读量8k

点赞数 5

分类专栏：大数据

本文链接：https://blog.csdn.net/xfks55/article/details/80857885

版权

本文介绍了如何在YARN上运行Spark并查看日志，包括配置文件如mapred-site.xml、yarn-site.xml和spark-defaults.conf的设置，以及启动Hadoop的jobhistoryserver和Spark的history-server。在配置正确后，可通过18080和19888端口访问日志。文章还讨论了Spark的运行模式，特别是Spark on YARN模式下的日志查看流程。

摘要由CSDN通过智能技术生成

要通过web页面查看运行日志,需要启动两个东西
hadoop启动jobhistoryserver和spark的history-server.

相关配置文件:

etc/hadoop/mapred-site.xml

   <!--配置jobhistory的地址和web管理地址-->
   <property>
         <name>mapreduce.jobhistory.address</name>
         <value>spark-master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>spark-master:19888</value>
    </property>

yarn-site.xml

<!-- 是否开启聚合日志 -->
     <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
     </property>
       <!-- 配置日志服务器的地址,work节点使用 -->
     <property>
         <name>yarn.log.server.url</name