将spark 的jar包下/org/apache/spark/log4j-defaults.properties文件复制一份到Intellij IDEA的src路径下
方法一:
修改log4j.properties文件的内容
将第一行的log4j.rootCategory=INFO, console
改成log4j.rootCategory=ERROR, console
,只显示ERROR级别的日志。
方法二:
找到maven repository下的jar路径,如我的路径是:/Users/lty/.m2/repository/org/apache/spark/spark-core_2.11/2.0.2/spark-core_2.11-2.0.2.jar!/org/apache/spark/log4j-defaults.properties
修改该配置文件下的首行信息。
方法三:
将方法一拷贝出来的文件直接放至/src/main/resources/下,就可以了。推荐第三种方法!!