- 使用IntelliJ+Maven来配置我们的Spark和其所依赖的库,配置文件如下:
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>2.1.0</version>
</dependency>
</dependencies>
- 我们知道Spark是通过Log4j这个库来输出信息的,所以我们只要控制Log4j的输出信息等级即可,在这里我们将等级控制在WARN等级,代码如下:
import org.apache.log4j.Logger;
Logger.getLogger("org").setLevel(Level.WARN);
- 这样在运行程序的时候就不会输出INFO等级的信息了
- 如果使用pyspark在终端运行的话,为了控制输出信息的等级,我们可以修改/conf/log4j.properties文件中的log4j.rootCategory,将其改为log4j.rootCategory=WARN, console