spark history server 单独部署,作为微服务提供日志服务

场景:

在spark history server部署的时候,一般在生产机器上,但是开发,或者是测试的时候,如果要做网络隔离,你就无法看到生产上的日志了,

如果开放VPN访问生产集群,也是可以的,但是现在不开放了,如何解决查看spark日志的问题.

打开history server的源代码:org.apache.spark.deploy.history.HistoryServer看个究竟.

发现运行需要一些参数 --properties-file 

一般是: --properties-file spark-history-server.conf

more spark-history-server.conf #配置主要是一些 日志路径

spark.driver.log.dfsDir=/tmp/spark/driverLogs
spark.history.fs.cleaner.enabled=true
spark.history.fs.cleaner.interval=86400
spark.history.fs.cleaner.maxAge=604800
spark.history.fs.update.interval.seconds=10
spark.history.retainedApplications=50
spark.history.store.maxDiskUsage=10737418240
spark.history.store.path=/tmp/spark/history
spark.history.ui.admin.acls=
spark.history.ui.port=18089
spark.ssl.historyServer.enabled=false
spark.ssl.historyServer.keyStore=
spark.ssl.historyServer.port=18488
spark.ssl.h