Spark调整日志输出等级

现象

在跑Spark程序时，会输出很多INFO信息，看着很杂乱，可以通过调整输出日志等级避免输出INFO信息

具体步骤：

1）到Spark根目录的conf文件夹下，找到log4j.properties.template文件；

2）复制上述文件，并改文件格式为log4j.properties；
3）打开新文件，将log4j.rootCategory=INFO, console中的INFO改为WARN或者ERROR，保存退出；

4）将文件log4j.properties复制到IDEA项目src/main/resources下面，即可在输出时更改输出日志等级（这种方法是全局设置，针对Spark所有应用）

局部设置日志输出等级，

针对SparkContext应用，Spark有专门的api设置日志级别，注意这些api只针对SparkContext相关的应用，而对Spark Streaming等应用无效果。
具体方法请参考：

Spark日志，及设置日志输出级别