[转]Spark如何设置不打印INFO日志

56 篇文章 4 订阅
27 篇文章 0 订阅

方法1:在配置文件中修改

cd $SPARK_HOME/conf 

## 查看是否存在 log4j.properties
## 如果没有,则
cp log4j.properties.template log4j.properties

vi log4j.properties

##然后,修改下面的这一个行:
log4j.rootCategory=INFO, console

##改成:

log4j.rootCategory=WARN, console

或者(按个人需求)
log4j.rootCategory=ERROR, console

再次运行时,不再出现大量的INFO 信息了。

方法2:在代码中修改

2.1 在”.scala“文件中 (尝试过都不好使

def main(args: Array[String]): Unit = {
	val sparkSession: SparkSession = SparkSession.builder( )
	val sc: SparkContext = sparkSession.sparkContext 
	sc. setLogLevel( "ERROR" )
	
	...
	...
	
}



或:

val spark = SparkSession.builder().enableHiveSupport()
      .appName("ng").getOrCreate()

 spark.sparkContext.setLogLevel("ERROR")

2.2 在spark-shell中

sc. setLogLevel( “WARN” )

在这里插入图片描述

转载参考1:健哥的数据花园 的博客
转载参考2:扣篮的左手 的博客
转载参考3:解决Spark应用日志级别设置

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值