Spark 控制输出信息等级

• 使用IntelliJ+Maven来配置我们的Spark和其所依赖的库，配置文件如下：

<dependencies>
     <dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-core_2.10</artifactId>
         <version>2.1.0</version>
     </dependency>
 </dependencies>

• 我们知道Spark是通过Log4j这个库来输出信息的，所以我们只要控制Log4j的输出信息等级即可，在这里我们将等级控制在WARN等级，代码如下：

import org.apache.log4j.Logger;
Logger.getLogger("org").setLevel(Level.WARN);

• 这样在运行程序的时候就不会输出INFO等级的信息了
• 如果使用pyspark在终端运行的话，为了控制输出信息的等级，我们可以修改/conf/log4j.properties文件中的log4j.rootCategory，将其改为log4j.rootCategory=WARN, console