PySpark 关闭不用的INFO信息

最新推荐文章于 2023-08-27 21:08:38 发布

大胖头leo

最新推荐文章于 2023-08-27 21:08:38 发布

阅读量2.1k

点赞数

分类专栏： PySpark学习日志文章标签： pyspark log

本文链接：https://blog.csdn.net/a8131357leo/article/details/88683845

版权

PySpark学习日志专栏收录该内容

40 篇文章 3 订阅

订阅专栏

执行Spark程序的时候会显示很多的INFO，但有时候会显得狠乱，我就找不到我的输出了

Log 文件的设置在 org.apache.log4j 下

def setLogger( sc ):
   # 选择log4j文件
  logger = sc._jvm.org.apache.log4j
  logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
  logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )
   #这个一般不关，有时候还是有用的
  logger.LogManager.getRootLogger().setLevel( logger.Level.ERROR )