【Spark】History Server配置

最新推荐文章于 2024-04-27 16:09:31 发布
最新推荐文章于 2024-04-27 16:09:31 发布
阅读量383 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36304567/article/details/102828423
版权
本文介绍了如何配置Spark History Server以查看已完成应用程序的历史记录。主要内容包括修改`spark-env.sh`和`spark-defaults.conf`配置文件，设置web端口、历史记录数量和日志路径，启动Spark和History Server，并通过web UI查看历史应用程序。
摘要由CSDN通过智能技术生成

在spark上跑应用程序时，可以在4040端口查看运行情况，但是一旦程序结束，这个端口便关闭了，这时想要查看历史数据，就要启用history server。具体步骤如下：

首先修改spark/conf下的两个配置文件

第一个：spark-env.sh

vim spark-env.sh

添加如下内容
在这里插入图片描述
含义：

  • history server的web端口为18080
  • 保留10个应用程序的历史记录
  • 历史记录日志的地址
    • 也可以选择其他地址，比如放到hdfs上

保存后source一下

source spark-env.sh

第二个：spark-defaults.conf

没有这个文件的话用spark-defaults.conf.template文件复制一个就好

添加如下内容
在这里插入图片描述
含义：

  • 启动事件日志
  • 事件日志地址

其他参数可以去

最低0.47元/天 解锁文章
韵母母
关注
spark history server 本地路径
merrily01的博客
06-09 854
本地启spark history server，spark.history.fs.logDirectory除了可以设置为hdfs远程目录外，还可以设置为本地路径，如： ./start-history-server.sh file:///home/te/maruilei/scripts/logs/tmp_log/
Spark History Server 没有生效
Liu-Cheng Xu
07-19 3818
Spark 提供了 Web UI 来对 Spark 应用进行监控。每个 SparkContext 会启动一个 web UI，默认是在 4040 端口。它显示了应用相关的有用的信息，包括： 一系列的 scheduler stage 和 task RDD 大小和内存占用的概要 环境信息 正在运行的 executor 的一些信息 只要打开 http://:4040 就可以看到该页面。如果有多个 Spark
Spark History Server配置
muyingmiao的专栏
10-12 318
为什么要使用Spark History Server 在Spark安装成功后，无论是通过spark-submit工具还是通过Intellij IDEA提交任务，只要在Spark应用程序运行期间，都可以通过WebUI控制台页面来查看具体的运行细节，在浏览器中通过地址：http://<driver-node>:4040即可查看当前的运行状态。但是一旦应用程序运行结束，该Web界面也就失效了...
Spark1.0.0 history server 配置
mmicky的hadoop、Spark世界
06-17 8739
在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Spark history serve
spark history server配置
leofionn的博客
03-22 417
spark history server的相关属性配置通过修改$SPARK_HOME/conf下的spark-default.conf文件来设定的官方文档地址：http://spark.apache.org/docs/latest/monitoring.html 相关 spark-default.conf 调优参数：属性名称 默认值 含义 sp...
配置spark的HistoryServer
04-27 598
如果需要在spark中配置好historyserver，则需要再修改两处设置。你可以通过http://ip地址:18080查看spark程序的运行。注：首先要手工建立日志记录文件夹，服务器不会自动建立，建立命令如下。如果通过jps能够看到HistoryServer，则说明已经启动了。
Spark History Server 配置部署
07-19 219
简介 为了可以通过WebUI控制台页面来查看具体的运行细节，解决应用程序运行结束，无法继续查看监控集群信息。无法回顾运行的程序细节，配置开启spark.history服务.Spark History Server可以很好地解决上面的问题。 配置文件位置： $SPARK_HOME$/conf目录下的spark-defaults.conf文件。默认spark-defaults.conf是不存在的，我们...
Spark History Server 配置方法
Daverain的博客
07-11 830
一、配置目的 我们在spark上运行程序的时候会经历很多次任务失败，而任务结束后，我们无从得知问题处在哪里，Spark提供了History Server服务可以保存历史Application的运行记录，帮助我们更好的解决问题。 官方文档参考:https://spark.apache.org/docs/latest/configuration.html 二、基本原理 Spark作业将作业执行...
配置 Spark HistoryServer
夜雨寒霜
12-21 800
第一步： cd /home/hadoop/apps/spark-2.3.0-bin-hadoop2.7/conf cp spark-defaults.conf.template spark-defaults.conf 在文件里面添加如下内容： spark.eventLog.enabled     true spark.eventLog.dir     hdfs://myha01/ssparklo...
配置Spark history server
NASAXK的博客
03-07 1390
问题描述：启动sbin/start-history-server.sh，jps下无historyserver进程，查看日志，显示如下错误。 原因分析： 1）查看$SPARK_HOME/conf，发现未配置spark-default.conf； 2）将spark.fs.history.logDirectory配置到conf/spark-defaults.conf目录里，发现并不起作用
Linux中Spark History Server的配置使用
lucklydog123的博客
10-12 465
Spark history Server产生背景 以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录； Spark history Server就是为了应对这种情况而产生的，通过配置可以在Application执行的过程中记录下了日志事件信息，
Spark入门 - History Server配置使用
热门推荐
CMSurprise的博客
11-16 1万+
问题描述在Spark安装成功后，无论是通过spark-submit工具还是通过Intellij IDEA提交任务，只要在Spark应用程序运行期间，都可以通过WebUI控制台页面来查看具体的运行细节，在浏览器中通过地址：http://<driver-node>:4040即可查看当前的运行状态。但是一旦应用程序运行结束，该Web界面也就失效了，无法继续查看监控集群信息。无法回顾刚刚运行的程序细节，进而
Spark配置historyserver
C_time的博客
11-06 370
先看一下spark是否启动 是访问8080端口 不是7077 成功
Spark history-server详解
AntKengElephant的博客
10-15 784
概述 这里作者和大家一起学习Spark 中的history-server，那他到底是什么呢？该如何去学习呢？ 我们可以带着下面几个问题进行详细的学习于思考： 1. history-server产生背景 2. history-server的作用 3. 如何配置和使用 4. history-server重要参数 5. sc.stop的重要性 6. REST API 1 history-server产...
Spark集群下开启history server
mlnist的博客
12-03 594
1. 创建存放log文件的路径 cd /usr/local/hadoop/bin #hadoop/bin的路径，若设hadoop安装路径为环境变量，则不用运行上述命令 hdfs dfs -mkdir -p hdfs://master:9000/spark-events hdfs dfs -ls ./tmp #出现spark-event说明成功 2. 修改conf文件下的spark-def...
【spark笔记】HistoryServer服务配置
m0_37911384的博客
09-17 321
配置文件：spark-defaults.conf spark.eventLog.enabled true spark.eventLog.dir hdfs://IP:8020/spark-events #提前创建好目录 spark.eventLog.compress true #压缩，减少资源消耗 配置文件：spark-env....
hadoop之jobhistory
chbxw
11-20 2863
mapred-site.xml,jobhistory,hadoop
spark 初始化spark-history-server
最新发布
07-20
1. **安装和配置**：首先需要在Spark集群上安装History Server，并在`conf/spark-defaults.conf`或其他相关配置文件中添加关于History Server的配置，例如`spark.history.fs.logDirectory`用于指定日志文件的位置。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值