Spark 指定日志级别

环境:spark2.4.8

由于网上太多处理spark打印日志,但大部分都不能用,按官网上设置也无效果.以下做整理,无效的(n),有效的为(y)

方法1(n)

按官方文档上来说只需要修改spark运行环境中log4j.property模板改log4j.propert文件,再修改其中级别即可用,实际上无效

方法2(n)

import org.apache.log4j.{Level, Logger}
Logger.getLogger("org").setLevel(Level.WARN)

方法3(n)

import org.apache.spark.sql.SparkSession

  private[this] implicit val spark = SparkSession.builder().master("local[*]").getOrCreate()

spark.sparkContext.setLogLevel("WARN")

方法4(n)

log4j.properties文件放到项目配置目录

方法5(y)

提交时指定

spark.driver.extraJavaOptions='-Dlog4j.configuration=file:/home/foobar/log4j.properties'