大数据 IMF 传奇 spark -history在分布式集群的安装部署及问题解决

最新推荐文章于 2021-12-12 00:34:33 发布

段智华

最新推荐文章于 2021-12-12 00:34:33 发布

阅读量3.4k

点赞数

分类专栏：大数据IMF传奇行动－Spark Hadoop

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/50643086

版权

大数据IMF传奇行动－Spark Hadoop 专栏收录该内容

109 篇文章 200 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详述了在分布式集群环境下如何安装和部署Spark的历史服务器，并重点讨论了在部署过程中可能遇到的问题及解决方案，帮助读者理解并实现Spark作业的监控和管理。

摘要由CSDN通过智能技术生成

配置Spark History Server

1. 在Spark的conf目录下/usr/local/spark-1.6.0-bin-hadoop2.6/conf，将spark-defaults.conf.template改名为spark-defaults.conf
mv spark-defaults.conf.template spark-defaults.conf

root@master:/usr/local/spark-1.6.0-bin-hadoop2.6/sbin# cd /usr/local/spark-1.6.0-bin-hadoop2.6/conf
root@master:/usr/local/spark-1.6.0-bin-hadoop2.6/conf# mv spark-defaults.conf.template spark-defaults.conf

2. 对spark-defaults.conf 配置
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:9000/historyserverforSpark
spark.history.ui.port 18080
spark.history.fs.logDirectory hdfs://master:9000/historyserverforSpark

了解本专栏