Spark History Server 配置方法

最新推荐文章于 2024-04-27 16:09:31 发布
最新推荐文章于 2024-04-27 16:09:31 发布
阅读量814 收藏 1
点赞数
分类专栏： 杂七杂八 文章标签： 大数据 spark hadoop 配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daverain/article/details/81002475
版权
本文介绍了Spark History Server的配置目的，基本原理，启动步骤，客户端配置以及如何查看历史作业记录。通过History Server，可以方便地分析和解决Spark作业执行中的问题。
摘要由CSDN通过智能技术生成

一、配置目的
我们在spark上运行程序的时候会经历很多次任务失败，而任务结束后，我们无从得知问题处在哪里，Spark提供了History Server服务可以保存历史Application的运行记录，帮助我们更好的解决问题。

官方文档参考:https://spark.apache.org/docs/latest/configuration.html

二、基本原理
Spark作业将作业执行的记录写到hdfs上，然后history server从对应的路径上读取作业的运行记录，解析之后展示到页面上。

三、启动History
1.准备一个spark-client
2.基本配置
两种配置方式，spark-defaults.conf中直接添加配置项和在spark-env.sh中配置环境变量SPARK_HISTORY_OPTS二选一
比如，在spark-default.conf 直接添加配置项：

spark.history.ui.port 8642
spark.history.fs.logDirectory hdf
最低0.47元/天 解锁文章
Daverain
关注
专栏目录
spark history server 本地路径
merrily01的博客
06-09 810
本地启spark history server，spark.history.fs.logDirectory除了可以设置为hdfs远程目录外，还可以设置为本地路径，如： ./start-history-server.sh file:///home/te/maruilei/scripts/logs/tmp_log/
Spark启动HistoryServer
merrily01的博客
02-02 2247
1.spark-defaults.conf中添加配置，开启eventLog并指定存放路径： spark.eventLog.enabled=true spark.eventLog.compress=true spark.eventLog.dir=hdfs://XXX:9000/spark_eventlog/ 2. $SPARK_HOME/sbin下，执行 ./start-history-server.sh 启动history-server： 需要注意的是,start-history-server..
Spark History Server配置
muyingmiao的专栏
10-12 305
为什么要使用Spark History Server 在Spark安装成功后，无论是通过spark-submit工具还是通过Intellij IDEA提交任务，只要在Spark应用程序运行期间，都可以通过WebUI控制台页面来查看具体的运行细节，在浏览器中通过地址：http://<driver-node>:4040即可查看当前的运行状态。但是一旦应用程序运行结束，该Web界面也就失效了...
Spark1.0.0 history server 配置
mmicky的hadoop、Spark世界
06-17 8722
在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Spark history serve
Spark History Server 配置部署
07-19 213
简介 为了可以通过WebUI控制台页面来查看具体的运行细节，解决应用程序运行结束，无法继续查看监控集群信息。无法回顾运行的程序细节，配置开启spark.history服务.Spark History Server可以很好地解决上面的问题。 配置文件位置： $SPARK_HOME$/conf目录下的spark-defaults.conf文件。默认spark-defaults.conf是不存在的，我们...
Spark配置历史服务器
zhongmingyu
03-24 1080
由于 spark-shell 停止掉后，集群监控 linux1:4040 页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。1 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf。3 注意：需要启动 hadoop 集群，HDFS 上的directory 目录需要提前存在。2 修改 spark-default.conf 文件，配置日志存储路径。4 修改 spark-env.sh 文件, 添加日志配置。
spark history server配置
leofionn的博客
03-22 401
spark history server的相关属性配置通过修改$SPARK_HOME/conf下的spark-default.conf文件来设定的官方文档地址：http://spark.apache.org/docs/latest/monitoring.html 相关 spark-default.conf 调优参数：属性名称 默认值 含义 sp...
如何杜绝 spark history server ui 的未授权访问?
明哥的IT随笔
11-16 1440
如何杜绝 spark history server ui 的未授权访问?
Spark History Server 没有生效
Liu-Cheng Xu
07-19 3792
Spark 提供了 Web UI 来对 Spark 应用进行监控。每个 SparkContext 会启动一个 web UI，默认是在 4040 端口。它显示了应用相关的有用的信息，包括： 一系列的 scheduler stage 和 task RDD 大小和内存占用的概要 环境信息 正在运行的 executor 的一些信息 只要打开 http://:4040 就可以看到该页面。如果有多个 Spark
【Spark】History Server配置
qq_36304567的博客
10-30 365
修改spark/conf下的两个配置文件 第一个：spark-env.sh vim spark-env.sh 添加如下内容 含义： history server的web端口为18080 保留10个应用程序的历史记录 历史记录日志的地址 也可以选择其他地址，比如放到hdfs上 其他参数可以去官网上看 保存后source一下 source spark-env.sh 第二个：spark-...
配置 spark 历史服务器
hj1993的博客
02-04 583
在没有退出之前, 我们是可以看到正在执行的任务的日志情况，一旦任务执行结束，web-ui就不能看到历史任务，需要额外配置历史服务器。
配置spark的HistoryServer
04-27 475
如果需要在spark中配置好historyserver，则需要再修改两处设置。你可以通过http://ip地址:18080查看spark程序的运行。注：首先要手工建立日志记录文件夹，服务器不会自动建立，建立命令如下。如果通过jps能够看到HistoryServer，则说明已经启动了。
Linux中Spark History Server的配置使用
lucklydog123的博客
10-12 452
Spark history Server产生背景 以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录； Spark history Server就是为了应对这种情况而产生的，通过配置可以在Application执行的过程中记录下了日志事件信息，
Spark History Server配置使用
leegh1992的专栏
11-22 2255
1、Spark History Server的作用 在运行Spark应用程序的时候，driver会提供一个webUI用于展现应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口。也就是说，这个服务是伴随Spark应用程序的运行周期的，也就是当应用程序运行完成后，将无法查看应用程序的历史记录。Spark History Server就是为了应对这种情况而产生的，通过配置，Spar
配置Spark history server
NASAXK的博客
03-07 1364
问题描述：启动sbin/start-history-server.sh，jps下无historyserver进程，查看日志，显示如下错误。 原因分析： 1）查看$SPARK_HOME/conf，发现未配置spark-default.conf； 2）将spark.fs.history.logDirectory配置到conf/spark-defaults.conf目录里，发现并不起作用
Spark On Yarn History Server配置、转换算子vs行为算子
ZZJXP的博客
05-15 162
[root@master spark-2.4.5]# cd conf/ [root@master conf]# ls docker.properties.template slaves.template fairscheduler.xml.template spark-defaults.conf.template log4j.properties.template spark-env.sh metrics.properties.template spark-env.sh.template..
spark history server 配置
艾文
10-27 3420
Spark history server 日志配置，方便查看历史作业信息和日志 主要修改yarn-site.xml 、spark-defaults.conf、spark-env.sh 三个配置文件，具体步骤如下： 1.1  yarn-site.xml 配置（需要重启所有的nodemanager） yarn.log-aggregation-enable
spark 初始化spark-history-server
最新发布
07-20
1. **安装和配置**：首先需要在Spark集群上安装History Server，并在`conf/spark-defaults.conf`或其他相关配置文件中添加关于History Server的配置，例如`spark.history.fs.logDirectory`用于指定日志文件的位置。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值