1.在standlone模式下,为了减少日志在磁盘占用的输出的量,可以设置一下几个参数。
spark.executor.logs.rolling.maxRetainedFiles
spark.executor.logs.rolling.enableCompression
spark.executor.logs.rolling.maxSize
spark.executor.logs.rolling.strategy
spark.executor.logs.rolling.time.interval
2.在yarn模式下运行的spark任务,想要减少日志输出的量需要修改spark的日志配置文件,spark默认使用 $SPARK_HOME/conf/log4j.properties的配置。
如果修改此处的配置会对所有的集群所有提交的任务生效,如果不想做这种全局的修改,也可以通过在启动脚本里面指定配置的方式。
spark-submit提供--file的选项,可以加载本地配置。
spark-submit \
--master yarn-cluster \
--files $basepath/libs/log4j2.xml,$basepath/libs/log4j.proper