通过SparkSession进行设置
val spark = SparkSession
.builder()
.appName("AWSMMonitorInfo")
.enableHiveSupport()
.config("hive.exec.dynamic.partition", true) // 支持 Hive 动态分区
.config("hive.exec.dynamic.partition.mode", "nonstrict") // 非严格模式
.getOrCreate()
//设置打印warn及以上级别的日志
spark.sparkContext.setLogLevel("WARN")