spark log4j.properties配置文件 输出日志级别修改

大数据 同时被 2 个专栏收录
12 篇文章 0 订阅
3 篇文章 0 订阅

开发工具:IDEA

开发环境:win10本地环境,spark

运行spark程序时,控制台总会输出很多红色日志,默认日志输出级别为INFO,可通过以下两种方法进行日志级别的修改

方法一:在代码块中进行日志级别的设置

    val sc = SparkSession.builder()
      .config("spark.testing.memory","2000000000")
      .master("local[*]")
      .appName("aiwen.com")
      .getOrCreate()
      .sparkContext

//  下行代码既是将日志级别由INFO调整为ERROR
    sc.setLogLevel("ERROR")

如上设置之后,可减少日志的输出,但是,设置之前即加载上下文环境时产生的INFO日志还是会被打印出来,该方法不彻底,效果如下

21/01/16 15:24:10 INFO SparkContext: Running Spark version 2.1.1
21/01/16 15:24:10 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
21/01/16 15:24:11 INFO SecurityManager: Changing view acls to: aw
21/01/16 15:24:11 INFO SecurityManager: Changing modify acls to: aw
21/01/16 15:24:11 INFO SecurityManager: Changing view acls groups to: 
21/01/16 15:24:11 INFO SecurityManager: Changing modify acls groups to: 
21/01/16 15:24:11 INFO SecurityManager: SecurityManager: authentication disabled; ui acls 
此处省略部分INFO日志 
1
5
20
20.0

Process finished with exit code 0

方法二:直接修改配置文件并放到项目中

鼠标光标定位到代码中,双击shift,在弹出的界面中搜索 log4j-defaults.properties 然后在结果中进入到该配置文件,该文件只可读,因此全选该文件复制新建log4j.properties,放到自己项目的src目录下即可

如上述运行结果,不再输出多余日志,该方法较为彻底

 

  • 0
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值