2020-09-11

---

问题

Spark 的命令可以通过--properties-file xxx.conf的方式提交配置文件，只需要spark.sparkContext.getConf()就可以拿到所有config字段，但是ADF(Azure Data Factory)并没有类似的property name。

---

方案

根据微软官方文档 [在 Azure 数据工厂中使用 Spark 活动转换数据](https://docs.microsoft.com/zh-cn/azure/data-factory/transform-data-using-spark)，可以建一个files的文件夹，将config文件放入files文件夹下，再去读取文件的内容。
python读取实例

 		configs = Properties()
        config_path = os.getcwd() +"/" + file_name
        with open(config_path, 'rb') as config_file:
            configs.load(config_file)
        items_view = configs.items()
        db_configs_dict = {}
        for item in items_view:
            db_configs_dict[item[0]] = item[1].data

值得一提的是，配置文件会在在os.getcwd()当前运行目录下。