spark UI 显示已完成应用的历史信息

原创 2016年05月30日 17:37:07

1,在HDFS 上创建放历史文件的目录

2,配置spark-env.sh的SPARK_HISTORY_OPTS=“-Dspark.eventLog.dir=第一步创建的目录”

3,配置spark-defaults.conf 的spark.eventLog.enabled=truespark.eventLog.dir=第一步创建的目录spark.eventLog.compress=true

4,启动spark-history-server  sbin/start-history-server.sh 第一步创建的目录.


saprk应用未执行sc.stop 程序不会结束,历史信息也不会写入。

spark history server 配置

Spark history server 日志配置,方便查看历史作业信息和日志 主要修改yarn-site.xml 、spark-defaults.conf、spark-env.sh 三个配置文件...
  • shenfuli
  • shenfuli
  • 2016年10月27日 18:15
  • 1105

linux 定期删除spark日志 shell 脚本

如下: 在linux命令行中创建一个空白文件,将下面代码加入到文件中。 注意:1.如果在windows 中编辑,上传到linux服务器中,需要利用vim 的 : set ff=unix  ...
  • huojingjia
  • huojingjia
  • 2016年10月21日 15:50
  • 798

Spark UI控制台浏览器界面不显示DAG有向无环图问题原因

使用Spark UI控制台查看Spark执行过程时,始终不显示DAG图,-_-||  如下: 后来发现,是因为360浏览器选择了兼容模式,导致不能正常显示DAG图,修改为极速模式后显示正常,遇...
  • heishuang
  • heishuang
  • 2017年11月15日 10:56
  • 176

spark的UI界面

[看图说话] 基于Spark UI性能优化与调试——初级篇 Spark有几种部署的模式,单机版、集群版等等,平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调...
  • u013013024
  • u013013024
  • 2017年06月20日 15:16
  • 1846

基于Spark UI性能优化与调试——初级篇

教技达人 2017-02-26 17:52 Spark有几种部署的模式,单机版、集群版等等,平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了.....
  • u011277123
  • u011277123
  • 2017年02月28日 10:12
  • 260

C#0007--带历史信息的菜单

C#0007--带历史信息的菜单
  • u012025054
  • u012025054
  • 2014年05月27日 16:58
  • 1050

Spark on YARN配置日志Web UI

Spark部署在YARN之后,从Standalone模式下的Spark Web UI直接无法看到执行过的application日志,不利于性能分析。得益于实验室师弟的帮忙,本文记录如何配置histo...
  • zyj8170
  • zyj8170
  • 2017年02月27日 17:42
  • 1745

Spark UI详解

在大型分布式系统中,采用事件监听机制是最常见的。如果Spark UI采用Scala的函数调用方式,由于函数调用多数情况下是同步调用,导致线程被阻塞。将函数调用更换为发送事件,事件的处理时异步的,当...
  • u013597009
  • u013597009
  • 2017年01月03日 15:25
  • 945

UI设计--注册信息填写

逛网站,逛论坛的时候,想要买东西,想要发表评论或是发表文章,总是
  • tang_huan_11
  • tang_huan_11
  • 2014年11月17日 11:14
  • 1100

spark 查看 job history 日志

SPARK_HOME/conf 下:spark-defaults.conf 增加如下内容spark.eventLog.enabled true spark.eventLog.dir hdfs://m...
  • stark_summer
  • stark_summer
  • 2015年06月11日 17:05
  • 26597
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark UI 显示已完成应用的历史信息
举报原因:
原因补充:

(最多只允许输入30个字)