spark UI 显示已完成应用的历史信息

原创 2016年05月30日 17:37:07

1,在HDFS 上创建放历史文件的目录

2,配置spark-env.sh的SPARK_HISTORY_OPTS=“-Dspark.eventLog.dir=第一步创建的目录”

3,配置spark-defaults.conf 的spark.eventLog.enabled=truespark.eventLog.dir=第一步创建的目录spark.eventLog.compress=true

4,启动spark-history-server  sbin/start-history-server.sh 第一步创建的目录.


saprk应用未执行sc.stop 程序不会结束,历史信息也不会写入。

相关文章推荐

Android-节日短信送祝福(UI篇:3-选择联系人、发送短信、显示历史记录)

节日短信送祝福Demo的最终实现

用于在重启应用程序时使用应用程序状态历史信息的方法、软件和装置

申请号:CN1977246 B 申请日期:2005年5月26日 申请人:高通股份有限公司【摘要】 一种用于保存应用程序状态历史信息的系统,所述应用程序状态历史信息含有一与一第一应用程序在一计算设...

百度地图中实现历史轨迹显示为BMap.InfoWindow添加多个不同时间点但相同经纬度点的信息

今天应boss要求实现巡更,既然是巡更,那么几个点在轮巡,那么显示历史轨迹时后面时刻的点的信息会覆盖前面时刻的信息,如何在一个marker上显示不同时间点的信息呢??  主要时取数据时的循环问题,后台...
  • mht1829
  • mht1829
  • 2016年12月03日 20:37
  • 662

Delphi 菜单的应用(系统菜单添加一项、主菜单增加历史记录、弹出菜单的动态合并、菜单中画图、显示状态)

知识简介:       Windows菜单可以分为系统菜单、主菜单、弹出菜单三种。 一、往系统菜单中添加菜单项 //1、在FormCreate中往系统菜单中添加自己的菜单 procedure ...

Calendar 显示是否是 今天 本周 本月 本年 (应用于微信 QQ 显示历史聊天列表 时间显示)

/** * 是否是昨天 * * @param time * @return */ public static boolean isYeste...

Spark应用(一)提取RDD内部信息和信息放入RDD

提取RDD内部信息      对于提取RDD内部信息有的人或许认为是一件非常简单的事情,“直接foreach操作不就行了?”。如果RDD不是为了分布式式计算。那么這样的逻辑就完全可以。 直接在外部顶一...

Spark组件之GraphX学习6--随机图生成和出度入度等信息显示

更多代码请见:https://github.com/xubo245/SparkLearning 1解释 简单不详述 2.代码: /** * @author xubo *...

基于spark的实时流数据需跟历史数据进行对比时所遇到的问题

环境: HDP-2.3 Hadoop 2.7.1.2.3 HBase 1.1.1.2.3 Spark 1.4.1.2.3 Kafka 0.8.2.2.3 Solr 5.3.0 项...

Spark 启动历史任务记录进程,报错 Logging directory must be specified解决

Spark 启动历史任务记录进程,报错 Logging directory must be specified解决

短信ui--会话编辑界面(三)历史记录

会话编辑界面(三)历史记录 1、前言       前文对接收者ui有一个简单的了解,下面来看看短信历史记录的加载以及界面更新。例如当我们发送一条短信,界面上显示“正在发送”,发送完后变成“已发送”...
  • ceko_wu
  • ceko_wu
  • 2012年12月03日 20:00
  • 3741
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark UI 显示已完成应用的历史信息
举报原因:
原因补充:

(最多只允许输入30个字)