spark log4j.properties配置文件 输出日志级别修改

开发工具：IDEA

开发环境：win10本地环境，spark

运行spark程序时，控制台总会输出很多红色日志，默认日志输出级别为INFO，可通过以下两种方法进行日志级别的修改

方法一：在代码块中进行日志级别的设置

    val sc = SparkSession.builder()
      .config("spark.testing.memory","2000000000")
      .master("local[*]")
      .appName("aiwen.com")
      .getOrCreate()
      .sparkContext

//  下行代码既是将日志级别由INFO调整为ERROR
    sc.setLogLevel("ERROR")

如上设置之后，可减少日志的输出，但是，设置之前即加载上下文环境时产生的INFO日志还是会被打印出来，该方法不彻底，效果如下

21/01/16 15:24:10 INFO SparkContext: Running Spark version 2.1.1
21/01/16 15:24:10 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
21/01/16 15:24:11 INFO SecurityManager: Changing view acls to: aw
21/01/16 15:24:11 INFO SecurityManager: Changing modify acls to: aw
21/01/16 15:24:11 INFO SecurityManager: Changing view acls groups to: 
21/01/16 15:24:11 INFO SecurityManager: Changing modify acls groups to: 
21/01/16 15:24:11 INFO SecurityManager: SecurityManager: authentication disabled; ui acls 
此处省略部分INFO日志 
1
5
20
20.0

Process finished with exit code 0

方法二：直接修改配置文件并放到项目中

鼠标光标定位到代码中，双击shift，在弹出的界面中搜索 log4j-defaults.properties 然后在结果中进入到该配置文件，该文件只可读，因此全选该文件复制新建log4j.properties，放到自己项目的src目录下即可

如上述运行结果，不再输出多余日志，该方法较为彻底