Spark 日志配置

spark 专栏收录该内容
6 篇文章 0 订阅

在使用spark 环境开发时,有时为了方便,需要pyspark环境下执行一些代码,但默认的日志级别是INFO, 这样会输出超级多的日志,界面一几乎是一直在刷屏状态。

可以调一下日志的输出级别。

一、修改日志配置

在$SPARK_HOME/conf 下找到 log4j.properties.template,复制一份到新文件log4j.properties 可直接修改文件名称为log4j.properties。

($SPARK_HOME为你的spark 安装目录)

原始的配置内容如下:

# Set everything to be logged to the console
log4j.rootCategory=INFO, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark-project.jetty=WARN
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO


看第一行的注释里有个console,就是控制台日志了

log4j.rootCategory=INFO, console 这一行里的INFO 改成WARN 或DEBUG,保存退出。


然后重新进入pyspark 环境,INFO日志就不会出现了,看着舒服了一些。


Good luck !

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值