idea log 不输出error_减少Spark Streaming本地log输出

在本地调试spark streaming的时候, log日志简直频繁到可怕, 甚至气势完全不输进入系统的event, 如下图

如果你选择的output format是console类型, 那简直就别想看清console里的内容了

这个时候可以加一条本地的配置, 方便本地console调试看结果

SparkSession spark = SparkSession.builder()
                .master("local")
                .appName("streaming")
                .getOrCreate();
spark.sparkContext().setLogLevel("ERROR");

这个配置是将默认输出的log级别调整至ERROR, 这样就能减少大量INFO级别的log输出, 方便debug在console中看输出结果

Reference

https://stackoverflow.com/questions/28189408/how-to-reduce-the-verbosity-of-sparks-runtime-output​stackoverflow.com