spark log4j.properties

最新推荐文章于 2024-03-31 15:53:40 发布

无声---

最新推荐文章于 2024-03-31 15:53:40 发布

阅读量487

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/qq_43605617/article/details/115583539

版权

本文档详细介绍了Spark Shell的日志配置文件log4j.properties，主要用于设置默认的错误级别为ERROR，并抑制第三方库过于冗长的输出。通过调整特定组件的日志级别，避免在使用Spark Shell和常规Spark应用程序时出现不必要的日志信息，特别是针对Spark SQL中查找不存在的UDF时的错误消息。

摘要由CSDN通过智能技术生成

log4j.rootCategory=ERROR, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

Set the default spark-shell log level to ERROR. When running the spark-shell, the

log level for this class is used to overwrite the root logger’s log level, so that

the user can have different defaults for the shell and regular Spark apps.

log4j.logger.org.apache.spark.repl.Main=ERROR

Settings to quiet third party logs that are too verbose

log4j.logger.org.spark_project.jetty=ERROR
log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain