方法1:在配置文件中修改
cd $SPARK_HOME/conf
## 查看是否存在 log4j.properties
## 如果没有,则
cp log4j.properties.template log4j.properties
vi log4j.properties
##然后,修改下面的这一个行:
log4j.rootCategory=INFO, console
##改成:
log4j.rootCategory=WARN, console
或者(按个人需求)
log4j.rootCategory=ERROR, console
再次运行时,不再出现大量的INFO 信息了。
方法2:在代码中修改
2.1 在”.scala“文件中 (尝试过都不好使 )
def main(args: Array[String]): Unit = {
val sparkSession: SparkSession = SparkSession.builder( )
val sc: SparkContext = sparkSession.sparkContext
sc. setLogLevel( "ERROR" )
...
...
}
或:
val spark = SparkSession.builder().enableHiveSupport()
.appName("ng").getOrCreate()
spark.sparkContext.setLogLevel("ERROR")
2.2 在spark-shell中
sc. setLogLevel( “WARN” )
转载参考1:健哥的数据花园 的博客
转载参考2:扣篮的左手 的博客
转载参考3:解决Spark应用日志级别设置