spark运维监控：查看历史作业的webUI

最新推荐文章于 2022-07-10 12:39:55 发布
最新推荐文章于 2022-07-10 12:39:55 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： spark运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013164612/article/details/84638211
版权

1、停止集群
2、配置spark-env.sh

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=50 -Dspark.history.fs.logDirectory=hdfs://centos-5:9001/spark-event"


3、重启集群
4、启动history server
5、运行spark-shell，在standalone模式下和yarn模式下，分别执行一个作业
6、通过centos-4:18080的HistoryServer UI可以看到所有运行后的作业信息

angel泪
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
170、Spark运维管理进阶之作业监控启动HistoryServer查看历史作业的Web UI
ZJ__ZFH的博客
02-02 722
默认情况下，一个作业运行完成之后，就再也无法看到其web ui以及执行信息了，在生产环境中，这对调试以及故障定位有影响。 如果要在作业执行完之后，还能看到其web ui，那么必须将作业的spark.eventLog.enabled属性设置为true，这个属性会告诉spark去记录该作业的所有要在web ui上展示的事件以及信息。 如果spark记录下了一个作业生命周期内的所有事件，那么就会在该...
spark UI 显示已完成应用的历史信息
ws_developer的博客
05-30 859
1，在HDFS 上创建放历史文件的目录 2，配置spark-env.sh的SPARK_HISTORY_OPTS=“-Dspark.eventLog.dir=第一步创建的目录” 3，配置spark-defaults.conf 的spark.eventLog.enabled=true，spark.eventLog.dir=第一步创建的目录，spark.eventLog.compress=true
利用spark UI 定位spark 运行慢的原因
程序认生
06-19 2929
spark性能
（8）Spark 2.0.0 查看job 历史日志
王培晓Carpenter
12-13 4709
引言 启动Spark历史日志 1 安装Spark 2 修改配置文件spark-defaultsconf 3 修改配置文件spark-envsh 4 创建日志目录 5 启动spark历史日志web端 6 浏览器查看是否启动成功1.引言      在使用Spark的时候，有时候我们会关注job的历史日志，但是在Spark中默认情况下，历史日志是关闭的，在本篇博客中主要介绍一下如何启动spark的历史日志
22.Spark不能查看到历史作业分析
大勇若怯任卷舒
07-12 397
22.1 问题情况 Spark的HistoryServer能正常查看之前的历史作业日志，但新提交的作业在执行完成后未能在HistoryServer页面查看。 分别使用root和ec2-user用户执行作业 通过sparkHistory Server可以正常查看到所有历史作业 将/user/spark/applicationHistory目录的所属组修改为supergroup，再次执行作业 sudo –u hdfs hadoop dfs –chown spark:supergroup /user/s
sparklinux服务器日志信息,启动 Spark 历史记录服务器 - AWS Glue
weixin_36290719的博客
08-06 393
本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。启动 Spark 历史记录服务器您可以使用在 EC2 实例上托管服务器的 AWS CloudFormation 模板启动 Spark 历史记录服务器，也可以使用 Docker 在本地启动 Spark历史记录服务器。使用 AWS CloudFormation 启动 Spark 历史记录服务器并查看 Spark UI您可以使用...
spark查看历史任务的信息
sxyqhyt的博客
05-18 991
1、在spark-default.conf中增加：spark.eventLog.enabled                  truespark.eventLog.dir                           hdfs://10.0.0.37:9000/sparklogsspark.eventLog.compress                true   2、在sp...
web管理spark任务
11-15
"web管理spark任务"指的是利用Spark自带的Web UI以及相关的工具，通过Web界面来提交、监控和管理Spark作业。这种方式提供了可视化的方式，使得开发者和运维人员能够更直观地了解作业的运行状态。 首先，我们来详细...
spark-3.1.2-bin-hadoop2.7.tgz
01-29
可以利用Spark自带的Web UI（默认端口8080），监控作业状态、查看executor资源使用情况等。此外，还可以通过YARN或Mesos的管理界面监控整个集群的状态。 总结起来，Spark 3.1.2是一个适用于Linux环境的大数据处理...
spark-2.3.3.zip
10-16
Spark提供Web UI来监控作业状态，包括作业详情、阶段信息、执行时间等，有助于排查问题和优化性能。此外，Spark还支持动态资源分配和弹性调度，以适应不同的工作负载。 综上，Spark 2.3.3是一个强大的大数据处理...
spark 191-245课件
11-15
2. 作业监控：通过standalone模式下的Web UI，可以直观地查看作业状态、资源使用情况等，有助于实时监控和问题排查。 3. 作业资源调度 - 静态资源分配原理：Spark支持预定义资源分配，为不同作业分配固定数量的...
SPARK2.3.rar
11-02
此外，监控和调优工具，如Web UI、EventLog、Stage Profiling，帮助运维人员更好地理解应用程序的性能瓶颈并进行优化。 总结，Spark 2.3作为一个强大且易用的大数据处理框架，其在CDH环境中的应用进一步巩固了其在...
Spark实践-日志查询
阿里Darker
04-29 8044
环境 win 7 jdk 1.7.0_79 (Oracle Corporation) scala version 2.10.5 spark 1.6.1 详细配置： Spark Properties spark.app.id local-1461891171126 spark.app.name JavaLogQuery spark.driver.host 10.1
【大数据开发运维解决方案】Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装
热门推荐
赵延东的一亩三分地
03-31 17万+
一、安装spark依赖的Scala 因为其他版本的Spark都是基于2.11.版本,只有2.4.2版本的才使用Scala2.12. 版本进行开发，hudi官方用的是spark2.4.4，所以这里我们下载scala2.11.12。 1.1 下载和解压缩Scala 下载地址： 点击进入 下载linux版本： 在Linux服务器的opt目录下新建一个名为scala的文件夹，并将下载的压缩包上载上去： ...
大数据平台运维之Spark
数字男孩的博客
05-04 673
大数据系列之运维（自主搭建的大数据平台） （9）Spark运维 打开 Linux Shell 启动 spark-shell终端，将启动的程序进程信息以文本形式提交到答题框中。 [root@master ~]# spark-shell 20/03/31 21:31:45 WARN util.NativeCodeLoader: Unable to load native-hadoop librar...
Spark入门到精通-番外篇(Standaone集群的运维和简单操作)
S1124654的博客
07-10 515
Spark入门到精通-番外篇(Standaone集群的运维和简单操作)
spark 查看 job history 日志
weixin_30319153的博客
06-11 447
SPARK_HOME/conf 下: spark-defaults.conf 增加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress true spark-env.sh 增加如下内容 expor...
解决spark on yarn模式时，在yarn的web界面上点击ApplicationMaster无法看到SparkWebUi界面
join_null的博客
11-23 2616
1.需要在hadoop集群的所有节点yarn-site.xml中加入如下配置 <property> <name>yarn.web-proxy.address</name> <value>master01:8089</value> </property> 在指定的master01节点启动web-proxy服务：./sbin/yarn-daemon.sh start proxyserver 2.重启所有节点.
三层效果图、施工图配套67套\316建筑结构电(10.5x12.3)316电施.dwg
最新发布
07-07
【三层】效果图、施工图配套67套\316建筑结构电(10.5x12.3)316电施.dwg
网易大数据平台运维实战-SACC2021年中国系统架构师大会.pdf
04-29
网易大数据平台运维实战-SACC2021年中国系统架构师大会

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值