【spark笔记】HistoryServer服务配置

最新推荐文章于 2024-04-27 16:09:31 发布
最新推荐文章于 2024-04-27 16:09:31 发布
阅读量304 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37911384/article/details/100944137
版权

配置文件：spark-defaults.conf

spark.eventLog.enabled    true
spark.eventLog.dir      hdfs://IP:8020/spark-events     #提前创建好目录
spark.eventLog.compress   true                      #压缩，减少资源消耗

配置文件：spark-env.sh

Export	     SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=180180	-Dspark.history.retainerApplications =250	-Dspark.history.fs.logDirectory=和上目录一致

端口 UI可查看历史记录数 读取历史记录数据目录

启动historyserver      ./sbin/start-history-server.sh
掌心里的海-Canace
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark配置之历史服务器（HistoryServer）
guohuishan的博客
12-30 2408
为什么要配置历史服务器 DriverProgram:客户端；提交一个应用程序（application）以后，再提交一次，就无法查看之前的提交信息了；使用历史服务器就可以 具体配置过程如下：现有客户机（clus10，clus11，clus12，clus13） 首先启动zookeeper bin/zkServer.sh start bin/zkServer.sh status 查看状态（一个leade...
Spark History Server配置及使用
我的博客
08-24 9852
为什么要配置history server 在Spark安装成功后，无论是通过spark-submit工具还是通过Intellij IDEA提交任务，只要在Spark应用程序运行期间，都可以通过WebUI控制台页面来查看具体的运行细节，在浏览器中通过地址：http://<driver-node>:4040即可查看当前的运行状态。但是一旦应用程序运...
Hadoop 开启 histotryserver
热门推荐
桃李不言下自成蹊
04-13 8万+
上传一个测试任务，其中 /wordcount/input 中包含有一个txt文件，可以自行创建任意内容，输出到名为 /wordcount/result 的目录中。Hadoop自带了一个历史服务，可以通过历史服务在web端查看已经运行完的Mapreduce作业记录，mapreduce.jobhistory.webapp.address 历史服务器web端的端口。mapreduce.jobhistory.address 启动历史服务器的端口，配置文件在hadoop文件夹下的etc/hadoop中。
Hadoop集群的JobHistoryServer详解
play_chess_ITmanito的博客
07-20 4889
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器如何启动历史服务？ # mr-jobhistory-daemon.sh start historyserver这样
170、Spark运维管理进阶之作业监控启动HistoryServer查看历史作业的Web UI
ZJ__ZFH的博客
02-02 743
默认情况下，一个作业运行完成之后，就再也无法看到其web ui以及执行信息了，在生产环境中，这对调试以及故障定位有影响。 如果要在作业执行完之后，还能看到其web ui，那么必须将作业的spark.eventLog.enabled属性设置为true，这个属性会告诉spark去记录该作业的所有要在web ui上展示的事件以及信息。 如果spark记录下了一个作业生命周期内的所有事件，那么就会在该...
spark笔记整理文档
01-18
本篇笔记将深入探讨Spark的核心概念、架构设计以及实际应用，旨在帮助读者全面理解并掌握Spark。 1. Spark概述： Spark最初由加州大学伯克利分校AMPLab开发，其设计理念是提供一个快速、通用且可扩展的大数据处理...
spark笔记.zip
04-23
通过配置，用户可以在Spark上运行Hive查询，利用Spark的内存计算优势加速批处理任务。 7. Spark Shuffle过程：Shuffle是Spark中数据重新分布的过程，涉及到reduce任务的输入划分。优化shuffle可以减少网络传输和...
spark学习笔记
08-04
### Spark学习笔记 #### Apache Spark简介 Apache Spark是一款专为大规模数据处理而设计的高性能、通用的计算引擎。它的核心特点在于提供了强大的内存计算能力，从而显著提升了数据处理的速度。Spark最初采用Scala...
Spark笔记1
08-08
根据“Spark笔记1”的描述，要在Hadoop集群上运行Spark任务，首先需要确保Spark能够正确识别到Hadoop集群。这通常涉及到一些环境变量的设置，例如： - `YARN_HOME`: 指定Hadoop的安装路径。 - `YARN_CONF_DIR`: 指定...
spark之Standalone模式部署配置详解
08-29
Spark 之 Standalone 模式部署配置详解 Spark 是一个基于内存的集群计算引擎，它可以在多种模式下运行，包括本地模式、伪分布式模式、集群模式等。在这些模式中，Standalone 模式是 Spark 的自带模式，对于大多数...
配置HistoryServer
qq_43688472的博客
12-25 2232
一： 默认情况下HistoryServer没有启动，需要使用sbin/mr-jobhistory-daemon.sh start historyserver 启动 二： 启动前需要在mapred-site.xml加上配置： [hadoop@hadoop001 hadoop]$ pwd /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop 寻找map...
hadoop historyserver启动，无法访问，查看报错等问题
m0_67391518的博客
09-02 2285
记录下hadoop遇到的问题。
Spark History Server配置使用
weixin_33696106的博客
09-19 557
Spark history Server产生背景 以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录； Spark histor...
spark web ui 开启history server
一个今天胜过两个明天
11-29 433
在/tmp下建立目录 spark-events ./sbin/start-history-server.sh 修改配置文件./conf/spark-defaults.conf 添加这一行：spark.eventLog.enabled true 运行脚本 ./sbin/start-history-server.sh 查看地址http://localhost...
启动&关闭Hadoop&Spark历史服务
奔赴彼岸
01-26 964
/usr/local/src/hadoop-2.6.5/etc/hadoop目录下 启动hadoop历史服务 mr-jobhistory-daemon.sh start historyserver 关闭hadoop历史服务 mr-jobhistory-daemon.sh stop historyserver /usr/local/src/spark-2.4.4-bin-hadoop2.6目录下 启动Spark历史服务 ./sbin/start-history-server.sh 关闭Spark历史服务
Spark 配置History
sunrising_hill的专栏
07-28 590
首先在spark-defaults.conf中添加线面两行：spark.eventLog.enabled true spark.eventLog.dir hdfs://master.domain.com:9000/log/sparkLogs在spark-env.sh中添加下面两行：export SPARK_HISTORY_OPTS="-Dspark....
配置spark的HistoryServer
04-27 394
如果需要在spark中配置好historyserver，则需要再修改两处设置。你可以通过http://ip地址:18080查看spark程序的运行。注：首先要手工建立日志记录文件夹，服务器不会自动建立，建立命令如下。如果通过jps能够看到HistoryServer，则说明已经启动了。
spark学习系列——6 Historyserver配置
FisherWang_CN
03-20 772
1、说明sparkUI 只有在作业执行中才能从yarn界面看到状态，作业执行结束之后想要查看历史数据就必须配置Historyserver。2、配置方法如果spark记录下了一个作业生命周期内的所有事件，那么就会在该作业执行完成之后，我们进入其web ui时，自动用记录的数据重新绘制作业的web ui。有3个属性我们可以设置spark-defaults.confspark.eventLog.enab...
spark 初始化spark-history-server
最新发布
07-20
Spark History Server是Apache Spark的一个组件，用于提供实时的作业监控和日志查询服务。它帮助用户理解和分析Spark应用程序的运行情况，比如任务执行时间、资源使用情况等。Spark初始化History Server通常涉及以下步骤： 1. **安装和配置**：首先需要在Spark集群上安装History Server，并在`conf/spark-defaults.conf`或其他相关配置文件中添加关于History Server的配置，例如`spark.history.fs.logDirectory`用于指定日志文件的位置。 2. **启动服务**：在集群管理工具（如YARN或Kubernetes）中启动History Server服务，确保其监听端口（默认8080）对外开放并且可以访问。 3. **连接和访问**：Spark应用结束后，可以在Spark UI中看到History Server的链接，或者直接通过浏览器访问http://<history_server_host>:8080查看详细报告。 4. **监控和分析**：用户可以通过History Server提供的API或界面来跟踪应用程序的任务、阶段、任务详细信息以及资源使用情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值