spark开启EventLog

最新推荐文章于 2025-04-30 08:30:00 发布

转载

最新推荐文章于 2025-04-30 08:30:00 发布 · 2.2k 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/guanxun/blog/477132

文章标签：

#大数据

本文介绍了如何在Spark中开启EventLog功能，用于记录作业执行的日志信息，便于后期分析和监控。通过配置Spark参数，可以将EventLog保存到指定的日志服务器，从而追踪Spark作业的运行状态和历史操作。

History Server及其配置

以默认配置的方式启动spark history server：

cd $SPARK_HOME/sbin
start-history-server.sh

启动完成之后可以通过WEBUI访问，默认端口是18080：http://vmaxspark:18080

以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS

属性名	默认值	含义
spark.history.fs.logDirectory	file:/tmp/spark-events	history server读取eve

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

chouchi1749

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Spark eventlog 、Event、SparkListener

zhixingheyi_tian的博客

03-12

517

【代码】Spark eventlog。

【Spark】Spark 3.0 支持 event logs 滚动

九师兄

05-14

1141

1.概述 spark学习-58-Spark的EventLoggingListener 这篇文章讲了Spark 2.0 相关的代码，主要是Event-log是怎么生成的。这里要看看Spark 3.0 做了什么优化？相信经常使用 Spark 的同学肯定知道 Spark 支持将作业的 event log 保存到持久化设备。默认这个功能是关闭的，不过我们可以通过 spark.eventLog.enabled 参数来启用这个功能，并且通过 spark.eventLog.dir 参数来指定 event log 保存.

参与评论您还未登录，请先登录后发表或查看评论

Spark 3.0 终于支持 event logs 滚动了

过往记忆大数据

03-09

1990

背景相信经常使用 Spark 的同学肯定知道 Spark 支持将作业的 event log 保存到持久化设备。默认这个功能是关闭的，不过我们可以通过 spark.eventLog.ena...

Spark Event Log (二) 开始和结束

三丰的专栏

08-25

1516

Spark Event Log Start 上一节已经看过操作Spaek Event Log的类是org.apache.spark.scheduler.EventLoggingListener,现在来分析一下start()方法 /** * Creates the log file in the configured log directory. */ def start() { if (!fileSystem.getFileStatus(new Path(logBaseDir))

Spark Event Log (一)概述

三丰的专栏

08-23

3624

这里写自定义目录标题什么是Spark Event Log为什么需要Spark Event Log如何开启Spark Event LogSpark Event Log张什么样子简单分析Spark Event LogSpark Event Log在History Server显示是什么样的是谁在写Event Log参考什么是Spark Event Log Spark Event Log是Spark内部主要的事件日志。比如Spark Application什么时候启动，什么时候关闭，什么时候Task开始，什么时

Spark学习-事件日志EventLog

迷思

12-08

4079

事件日志EventLog背景背景

spark的eventlog可以针对单任务开启吗

07-24

默认情况下，Spark 的 event log 是通过配置文件进行全局控制的，即在 `spark-defaults.conf` 中设置 `spark.eventLog.enabled` 来决定是否开启事件日志功能[^2]。然而，Spark 并**不支持直接为单个任务（即单个 ...

如果spark.eventLog.enabled设置为true，spark.eventLog.dir不设置，此时的日志会记录到哪里？

04-24

首先，回顾之前的回答，用户之前询问的是在YARN集群模式下如何开启事件日志，我给出了配置步骤，包括设置eventLog.enabled为true，指定eventLog.dir为HDFS路径，并提到必须预先创建该路径。现在用户的问题是，如果...

spark.master yarn spark.eventLog.enabled true spark.eventLog.dir hdfs://hadoop102:8020/spark-history spark.executor.memory 1g spark.driver.memory 1g

热门推荐

huzuoliang

02-25

1万+

spark.eventLog.dir是记录Spark事件的基本目录，如果spark.eventLog.enabled为true。在此基本目录中，Spark为每个应用程序创建一个子目录，并在此目录中记录特定于应用程序的事件。用户可能希望将其设置为统一位置，如HDFS目录，以便历史记录服务器可以读取历史记录文件。spark.history.fs.logDirectory用于为历史记录程序提供文件系统

spark配置

小潘

05-21

3374

Linux安装Spark集CentOS7+Spark2.1.1 1 安装Spark依赖的Scala Scala的下载和解压缩可以参考下面博文的对应章节，步骤和方法一模一样：http://blog.csdn.net/pucao_cug/article/details/72353701 1.2 为Scala配置环境变量编辑/etc/profile这个文件，在文件中增加一行配置： export ...

spark6. 如何设置spark 日志

笔生花的博客

09-13

1876

本文只讲解再yarn 模式下的日志配置。

spark 2 查看历史job任务日志

qq_31806205的博客

05-28

3287

1。编辑spark-env.sh export HADOOP_HOME=/usr/hdp/current/hadoop-client export HADOOP_CONF_DIR=/usr/hdp/current/hadoop-client/conf 这两个其实就是为了获得hadoop中的hdfs和yarn的配置文件。 2。编辑spark-defaults.conf spark.hi...

spark如何解决文件不存在_SparkContext错误 - 找不到文件/ tmp/spark-events不存在

weixin_39953481的博客

12-22

1271

通过API调用运行Python Spark应用程序 - 提交应用程序 - 响应 - SSH失败进入Worker我的python应用程序存在于/root/spark/work/driver-id/wordcount.py可以在中找到错误/root/spark/work/driver-id/stderr显示以下错误 -Traceback (most recent call last):File "/...

spark 运行 File file:/tmp/spark-events does not exist

Always on the road

04-08

6444

在/tmp/下创建spark-events文件夹即可

Spark历史日志服务器开启及配置

yj2434的博客

11-02

1216

可以使用历史日志服务器查看以前的job执行日志临时配置，对本次提交的应用程序起作用： ./spark-shell --master spark://node1:7077 --name myapp1 --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=hdfs://node1:9000/spark/test 停止程序，在 Web Ui 中 Completed Applications 对应的 ApplicationID 中能查看 his

Spark，配置历史服务

2402_87076376的博客

04-30

376

进入 /opt/module/spark-standalone/conf/spark-default.conf.temple 先把名称改成spark-default.conf，再补充两个设置。启动hadoop的hdfs服务（start-dfs.sh）,并在根目录创建目录directory。可以通过命令行的方式来创建，也可以通过hadoop100:9870的页面操作来创建。4、5两步在上一条博客中直接一起配置了，所以这里可自行跳过。