服务器的history显示前500,Apache Spark 历史服务器（HistoryServer）日志过大解决

最近突然收到线上服务器发出来的磁盘满了的报警，然后到服务器上发现 Apache [root@iteblog.com spark]# ll -h

total 328

-rw-rw-r-- 1 spark spark 15.4G Jul 11 13:09 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-iteblog.com.out

-rw-rw-r-- 1 spark spark 369M May 30 09:07 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-iteblog.com.out.1

-rw-rw-r-- 1 spark spark 13.6G May 11 21:36 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-iteblog.com.out.2

-rw-rw-r-- 1 spark spark 4.4G Apr 04 11:04 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-iteblog.com.out.3

-rw-rw-r-- 1 spark spark 11.8G Mar 24 12:47 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-iteblog.com.out.4

-rw-rw-r-- 1 spark spark 7.5G Feb 12 23:43 spark-spark-org.apache.spark.deploy.history.HistoryServer-1-iteblog.com.out.5

...

原来是因为 HistoryServer 启动的时候使用了默认的 log4j.properties 文件里面的配置，导致每次只有重启 HistoryServer 的时候日志才会切割，如果不重启 HistoryServer，日志文件会无限制的增长下去；而且切割出去的日志文件也不会被

如果想及时了解iteblog_hadoop

问题已经找到，解决这个问题的方法也很直接，就是重新定义 Spark 自带的 log4j.properties 文件，将默认的 org.apache.log4j.ConsoleAppender 修改成 org.apache.log4j.RollingFileAppender，并设置每个日志文件最大为1G，最多保持7个这样的文件，具体如下： log4j.logger.org.apache.spark.deploy.history=info,historyserver

log4j.appender.historyserver=org.apache.log4j.RollingFileAppender

log4j.appender.historyserver.layout=org.apache.log4j.PatternLayout

log4j.appender.historyserver.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

log4j.appender.historyserver.MaxFileSize=1GB

log4j.appender.historyserver.MaxBackupIndex=7

log4j.appender.historyserver.File=/data/logs/spark/historyserver.log

经过这样的配置，服务器的日志如下 [root@iteblog.com spark]# ll -h

-rw-rw-r-- 1 spark spark 235M Jul 11 13:09 historyserver.log

-rw-rw-r-- 1 spark spark 1G Jul 11 13:09 historyserver.log.1

-rw-rw-r-- 1 spark spark 1G Jul 11 13:07 historyserver.log.2

可以看到，HistoryServer 的日志超过1GB就会自动切割，而且最多只保存7个这样的文件，占用的磁盘空间可控。

本文虽然介绍的是 Spark HistoryServer 日志磁盘占用问题，我们可以举一反三，对于 Spark Streaming 的输出日志也可以使用类似的方法解决；同理，Spark 的 ThriftServer 也可以采用这种方法解决。