Spark监控 webUI

Spark作业监控
./sbin/start-history-server.sh 
会将运行日志持久化到磁盘或文件系统中
spark.history.provider=below
spark.history.fs.logDirectory日志存放位置
启动之后会创建一个webUI（在那台启动的就在那台机器上运行）
默认地址 http://<server-url>:18080 


spark.apache.org/docs/latest/monitoring.html


开启historyserver
1)开关
spark.exentLog.enabled true(spark-defaults.conf)
2)日志记到什么位置
/存放路径/spark.eventLog.dir hdfs://namenode/shared/spark-


logs(spark-defaults.conf)
/展示路径/SPARK_HISTORY_OPTS="-


Dspark.history.fs.logDirectory=hdfs://namenode/shared/spark-


logs"(spark-env.sh)
要注意，目录一定要存在，定期清理防滚爆，修改时区，
server展示complete&&incomplete两部分信息，重试多次失败的任务


也可以被展示出来，属于一个原景重现
sc.stop的应用程序会被归到complete，任务crash崩了或强制退出的


或kill的会被归到incomplete里面，即使他们不运行了




监控系统UI - REST API （一个服务：发请求，返回值）


（springBoot）
用于二次开发监控界面




压缩问题
spark.eventLog.enabled true
spark.eventLog.compress true (默认：spark.io.compression.codec lz4)