在使用Spark Streaming消费Kafka数据并处理数据时会在控制台生成大量不太重要的日志,为了减少控制台输出的日志,在使用sparkConf.setLogLevel()方法达不到期望时,想通过配置log4j.properties来实现,遇到了log4j.properties不起效的问题。
当时我的maven项目的Libraries下已经有slf4j、log4j的库,但是pom.xml文件只有下面这个依赖:
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.15</version>