spark运行的时候会产生大量的消息,让程序的运行结果看起来比较费劲
所以可以再程序中添加一些代码,设置一下输出日志的级别
import org.apache.log4j.{Level, Logger}
object Example {
Logger.getLogger("org").setLevel(Level.ERROR)
def main(args: Array[String]) {
......
}
}
代码中Level那里的参数,可以设置为WARN,或者ERROR,这个根据自身需求
直接设置为ERROR可能会错过一些比较重要的警告信息,但是这样输出的内容也少,可以直接看到结果