解决Spark Streaming任务日志打爆磁盘问题

1.在standlone模式下，为了减少日志在磁盘占用的输出的量，可以设置一下几个参数。

spark.executor.logs.rolling.maxRetainedFiles

spark.executor.logs.rolling.enableCompression

spark.executor.logs.rolling.maxSize

spark.executor.logs.rolling.strategy

spark.executor.logs.rolling.time.interval

http://spark.apache.org/docs/latest/configuration.html

2.在yarn模式下运行的spark任务，想要减少日志输出的量需要修改spark的日志配置文件，spark默认使用 $SPARK_HOME/conf/log4j.properties的配置。

如果修改此处的配置会对所有的集群所有提交的任务生效，如果不想做这种全局的修改，也可以通过在启动脚本里面指定配置的方式。

spark-submit提供--file的选项，可以加载本地配置。

spark-submit \

--master yarn-cluster \

--files $basepath/libs/log4j2.xml,$basepath/libs/log4j.proper