spark-日志

https://dongkelun.com/2018/11/16/sparkSubmitLogLevel/
有3种方法：

代码中

1. 亲测有效，唯一一个：Logger.getLogger(“org.apache.spark”).setLevel(Level.OFF)
   spark的console日志分好几部分，这里设置了OFF，仍会打印其他的部分。这里只是控制driver的日志。集群上也会输出一些日志。

2. 以下都没有试验出来：
   sparkContext.setLogLevel(“OFF”)
   Logger.getLogger(“akka”).setLevel(Level.OFF)
   Logger.getLogger(“jetty.server”).setLevel(Level.OFF)

项目中设置配文

没有试验成功：默认在org/apache/spark/log4j-defaults.properties中，将配文放在src/main/resources即可。
org/apache/spark/log4j-defaults.properties在集群中没意义，因为集群中使用的是集群spark的包。

集群配文

集群中的spark的log4j.properties在$SPARK_HOME/conf，但集群中的文件一般不能改。

提交命令中

没有试验成功：–conf “spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties”