spark任务导入自定义配置文件

        在开发代码的时候，想要让自己的代码更加灵活，可以采用导入自定义配置文件的方法，这样我们每次只需要修改配置文件的内容达到更改代码部分逻辑的目的，使代码更加灵活。

object Test{
    def main(args:Array[String]):Unit={
        val spark = SparkSession.builder().appName("test")
        .conf("hive.exec.dynamic.partition","true")
        .conf("hive.exec.dynamic.partition.mode","nonstrict")
        .enableHiveSupport().getOrCreate()
        
        // 读取自定义配置文件
        val rows = spark.read.text(args(0)).collectAsList()

        var filter_str = ""
        var date = args(1)

        for (i <- until < rows.size()){
            
            //[20230101    20230201    (1,2)]所以要将"[","]"替换成空
            val config_str = rows.get(i).toString().replaceAll("\\[|\\]","")
            
            //切割字符串获取开始、结束日期，过滤条件
            val start_date = config_str.split("\t")(0)