PySpark 关闭不用的INFO信息

最新推荐文章于 2023-08-27 21:08:38 发布

大胖头leo

最新推荐文章于 2023-08-27 21:08:38 发布

阅读量2.2k

点赞数

分类专栏： PySpark学习日志文章标签： pyspark log

本文链接：https://blog.csdn.net/a8131357leo/article/details/88683845

版权

PySpark学习日志专栏收录该内容

40 篇文章

订阅专栏

执行Spark程序时会显示大量INFO信息，导致输出混乱难以查找。日志文件设置位于org.apache.log4j下。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

执行Spark程序的时候会显示很多的INFO，但有时候会显得狠乱，我就找不到我的输出了

Log 文件的设置在 org.apache.log4j 下

def setLogger( sc ):
   # 选择log4j文件
  logger = sc._jvm.org.apache.log4j
  logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
  logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )
   #这个一般不关，有时候还是有用的
  logger.LogManager.getRootLogger().setLevel( logger.Level.ERROR )