spark 2 查看历史job任务日志

最新推荐文章于 2023-09-13 16:04:19 发布
最新推荐文章于 2023-09-13 16:04:19 发布
阅读量3.1k 收藏
点赞数 1
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31806205/article/details/80481582
版权

1。编辑spark-env.sh

export HADOOP_HOME=/usr/hdp/current/hadoop-client
export HADOOP_CONF_DIR=/usr/hdp/current/hadoop-client/conf
这两个其实就是为了获得hadoop中的hdfs和yarn的配置文件。

2。编辑spark-defaults.conf

spark.history.fs.logDirectory hdfs:///spark2-history/
spark.history.provider org.apache.spark.deploy.history.FsHistoryProvider
spark.history.ui.port 18081
spark.eventLog.enabled true
spark.eventLog.dir hdfs:///spark2-history/

3。在hdfs上创建文件

hadoop fs -mkdir /spark2-history

4。启动服务

//启动job历史端口
./start-history-server.sh

小小小黄鸡
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark 查看 job history 日志
cihongmo6452的博客
07-26 204
SPARK_HOME/conf 下: spark-defaults.conf 增加如下内容 Spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.com...
查看job的运行日志
dnil27295的博客
02-17 874
--sys用户执行以下sql语句，查看job的运行日志select t.owner, t.job_name, t.status, to_char(t.actual_start_date, 'yyyy-mm-dd hh24:mi:ss'), t.additional_info, t.error# from dba_schedul...
后台JOB日志查询
weixin_45387633的博客
08-11 734
SM37： 查询JOB日志 1、输入作业名称，查询某个作业时输入作业名称，查全部时输入*； 2、选择作业状态 3、选择查询是时间点 4、点执行 点执行后，显示查询日志清单如下
查看spark任务日志
vah101的专栏
10-31 2280
登录resource manager所在服务器， 进入/var/log/hadoop-yarn/yarn tail rm-audit.log  读取日志，找到如下内容： 2018-10-31 07:11:27,148 INFO resourcemanager.RMAuditLogger: USER=admin    OPERATION=Application Finished - Succe...
配置spark历史服务(spark二)
dingxiaohuang4790的博客
09-17 427
1. 编辑spark-defaults.conf位置文件 添加spark.eventLog.enabled和spark.eventLog.dir的配置修改spark.eventLog.dir为我们之前在hdfs配置的端口hdfs配置参考hadoop(七)集群配置同步（hadoop完全分布式四）|9 [shaozhiqi@hadoop102 conf]$ pwd /opt/modul...
java提交spark任务到yarn平台的配置讲解共9页
11-21
2. Spark History Server：启用Spark History Server，可以查看Spark作业的历史记录和日志。 六、优化技巧 1. 参数调优：根据集群资源和任务需求调整executor的数量、内存和CPU等参数。 2. 数据源和持久化：合理...
工信部Spark初级考前辅导.pdf
05-23
- 4040：Spark Job监控端口，查看作业详情和执行计划。 - 18080：JobHistory端口，记录作业的历史信息。 【Spark性能误解】 虽然Spark通常比MapReduce快，但这种加速并非总是10x-100x。例如，如果Hadoop使用HDFS...
计算引擎-spark (1)1
08-03
Application指的是整个Spark程序，而Job是Application中的一个计算任务，通常由一个或多个Stage组成。 3. **Stage和Task** Stage是Spark作业中的基本执行单元，它们对应于数据的shuffle操作。Task是Stage中的最小...
SparkStreaming实时计算框架介绍
01-29
每个数据块都会触发一个Spark Job，Job进一步被分解为Task，由Scheduler分配到空闲Executor执行。这种设计确保了系统的可扩展性和容错性。 SparkStreaming的容错机制依赖于Spark的RDD（弹性分布式数据集）概念。RDD...
saturn Network Job Scheduler-开源
05-06
通过RESTful API或Web界面，用户可以远程监控作业状态，查看执行历史记录，方便进行故障排查和性能调优。 总之，土星网络作业调度器是一个强大的工具，它以开源的方式推动了作业调度技术的发展，为企业和个人提供了...
spark6. 如何设置spark 日志
最新发布
笔生花的博客
09-13 1224
本文只讲解再yarn 模式下的日志配置。
Spark Event Log (一)概述
三丰的专栏
08-23 2480
这里写自定义目录标题什么是Spark Event Log为什么需要Spark Event Log如何开启Spark Event LogSpark Event Log张什么样子简单分析Spark Event LogSpark Event Log在History Server显示是什么样的是谁在写Event Log参考 什么是Spark Event Log Spark Event Log是Spark内部主要的事件日志。比如Spark Application什么时候启动，什么时候关闭，什么时候Task开始，什么时
Spark学习-事件日志EventLog
迷思
12-08 3289
事件日志EventLog背景 背景
Spark Event Log (二) 开始和结束
三丰的专栏
08-25 1172
Spark Event Log Start 上一节已经看过操作Spaek Event Log的类是org.apache.spark.scheduler.EventLoggingListener,现在来分析一下start()方法 /** * Creates the log file in the configured log directory. */ def start() { if (!fileSystem.getFileStatus(new Path(logBaseDir))
spark的eventLog日志分析
盛源的博客
08-22 706
【代码】spark的eventLog日志分析。
spark 配置historyserver进程 报错 org.apache.spark.deploy.history.HistoryServer
P_rivate的博客
03-06 2575
报错 查看日志文件发现 原因是因为 我们这里 配置的存储目录 和hadoop的core-site.xml的defaultFS配置 不匹配造成的，修改成相同就可以了
查看spark任务日志的几种方式
热门推荐
臭臭猫
04-13 3万+
    spark运行的任务往往通过web来查看，但是，当运行的是sparkStreaming任务时，日志往往会很大，web查看并不方便，因此需要定位到服务器上去看。下面将分别介绍两种查看driver端和executor端日志的方式。一、web端日志的查看：下面是四个yarn调度spark任务的web总界面：点击第一个任务：application_1509845442132_3866  进入下面界...
Stack trace: ExitCodeException exitCode=15 OR File does not exist: hdfs:/spark2-history
ZMC921的博客
05-16 8809
spark on yarn集群运行程序报错:Stack trace: ExitCodeException exitCode=15:查看yarn的聚合日志，将日志下载下来查看。yarn logs -applicationId application_1522668922644_40211 -out ./info发现日志内的错误如下java.io.FileNotFoundException: File...
Spark executor 和 spark任务 和 spark job 有什么区别或者联系
06-01
Spark executor、Spark任务和Spark job 三者之间是密切相关的，但是也有一些区别。 1. Spark executor：Spark executor 是 Spark 中具体执行任务的进程，每个 Executor 都运行在集群中的一个节点上，它负责具体的任务执行，包括从磁盘或网络中读取数据、计算数据、将计算结果写回磁盘或网络中等。 2. Spark任务：Spark 任务是指 Spark 应用程序中具体的一个计算单元，它是由一个或多个 Spark 操作组成的，Spark 任务的执行需要依赖于 Spark executor。 3. Spark job：Spark job 是由一个或多个 Spark 任务组成的逻辑单元，它是 Spark 应用程序的最小执行单元，它会被 Spark Driver 程序划分为多个 Stage，每个 Stage 中包含多个 Spark 任务。Spark job 的执行需要依赖于 Spark executor。 因此，可以将 Spark executor 看作是 Spark 任务的具体执行者，而 Spark 任务是 Spark job 的组成部分。一个 Spark job 可能包括多个 Spark 任务，这些任务会被分配到不同的 Spark executor 上执行。在 Spark 应用程序执行过程中，Spark Driver 程序会将 Spark job 划分为多个 Stage，并将 Stage 中的任务分配给不同的 Spark executor 执行，最终将执行结果汇总返回给 Driver 程序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值