spark 日志级别设置为ERROR

最新推荐文章于 2024-06-26 11:02:49 发布

datadev_sh

最新推荐文章于 2024-06-26 11:02:49 发布

阅读量9.9k

点赞数 3

分类专栏： JVM JDK JavaEE

本文链接：https://blog.csdn.net/datadev_sh/article/details/89400238

版权

本文介绍了如何将Spark的日志级别设置为ERROR，包括两种方式：1) 在代码中设置，但可能仍有其他日志输出；2) 通过修改log4j.properties文件，但在某些情况下，程序可能加载了其他配置文件。当设置无效时，可以使用-Dlog4j.debug VM选项来检查加载的配置文件位置，并通过指定log4j.properties文件路径确保正确加载。最后，内容还提到了Spark Streaming的相关信息。

摘要由CSDN通过智能技术生成

想只显示ERROR日志。

方式1

代码里设置

  val sc = new SparkContext(conf)
  sc.setLogLevel("ERROR")

这个启动时，仍然会有一些其他日志.

方式2

log4j.properties文件设置

1.新建一个resource目录，在文件夹上右击，mark as reources root。
在这里插入图片描述

2.新建一个log4j.properties。将级别改为ERROR。
现在是全部其他日志都没了。



# Set everything to be logged to the console
log4j.rootCategory=ERROR, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss}