Spark 通过 spark-submit 设置日志级别

spark 专栏收录该内容
31 篇文章 0 订阅

前言
Spark有多种方式设置日志级别,这次主要记录一下如何在spark-submit设置Spark的日志级别。

1、需求
因为Spark的日志级别默认为INFO(log4j.rootCategory=INFO, console),这样在运行程序的时候有很多我不需要的日志信息都打印出来了,看起来比较乱,比较烦,抓不住重点,而我只想把warn和error打印出来。
之前在测试环境或者在eclipse我是通过其他几种方式(下面会介绍)设置的,但是在生产环境下不允许我修改集群的配置文件(不是我负责~),而在代码里设置日志级别却不生效(原因还没找到),最后通过spark-submit里设置日志级别搞定的。

2、spark-submit 设置
spark-submit --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties"
其中log4j.properties为我将本地的日志文件,拷贝到执行spark-submit的机器上
参考:https://blog.csdn.net/xueba207/article/details/50436684

3、其他几种设置方法
3.1 修改集群的配置文件
cd $SPARK_HOME/conf 
cp log4j.properties.template log4j.properties
vim log4j.properties

将log4j.rootCategory=INFO, console改为log4j.rootCategory=WARN, console

3.2 在Eclipse里设置
将log4j.properties放在项目的src/main/resources即可

Spark 默认日志文件:org/apache/spark/log4j-defaults.properties
3.3 代码里配置(未生效)
spark.sparkContext.setLogLevel("WARN")

在代码里设置,不生效原因未知

4、 总结
 如果测试集群,直接修改$SPARK_HOME/conf下的log4j.properties
 如果Eclipse,将log4j.properties放在项目的src/main/resources
 如果生产集群,又许修改配置文件,用spark-submit --conf 

原文:https://blog.csdn.net/dkl12/article/details/84140956 
 

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值