需求:
运行时log打印太多,以至于找不到有用信息,需要减少log量
解决:
import org.apache.log4j._ object SparkStatFormatJob { Logger.getLogger("org").setLevel(Level.ERROR) }
较早版本的spark也可以用
val sc = new SparkContext(conf) sc.setLogLevel("ERROR")
需求:
运行时log打印太多,以至于找不到有用信息,需要减少log量
解决:
import org.apache.log4j._ object SparkStatFormatJob { Logger.getLogger("org").setLevel(Level.ERROR) }
较早版本的spark也可以用
val sc = new SparkContext(conf) sc.setLogLevel("ERROR")