1.终端修改
在spark-shell或者pyspark终端下可使用下面命令来改变日志级别sc.setLogLevel("WARN") # 或者INFO等
2.修改日志设置文件
通过调整日志的级别来控制输出的信息量.减少Spark Shell
使用过程中在终端显示的日志
- 切换当前路径到Spark安装路径
- 拷贝一份日志设置文件的模板文件
cp log4j.properties.template log4j.properties.template
- 找到下面一行内容
log4j.rootCategory=INFO, console
改为如下log4j.rootCategory=WARN, console