Spark History Server

当Spark程序运行时， 会开启一个web服务显示该程序的详细信息， 但是程序运行完过后便不再能访问这个页面了。
开启Spark的HistoryServer后， 可以记录并显示这些信息。

配置

编辑 spark-defaults.conf, 修改参数spark.eventlog.ebabled = true, spark.eventlog.dir=hdfs:///path
编辑spark-env.sh, 修改参数 spark.history.opts = -Dspark.history.fs.logDirectory=hdfs:///path

启动

执行./sbin/start-history-server.sh
访问web界面http://hostname:18080

转载于:https://my.oschina.net/dreamness/blog/3093817