问题
Spark 的命令可以通过--properties-file xxx.conf的方式提交配置文件,只需要spark.sparkContext.getConf()就可以拿到所有config字段,但是ADF(Azure Data Factory)并没有类似的property name。方案
根据微软官方文档 [在 Azure 数据工厂中使用 Spark 活动转换数据](https://docs.microsoft.com/zh-cn/azure/data-factory/transform-data-using-spark),可以建一个files的文件夹,将config文件放入files文件夹下,再去读取文件的内容。python读取实例
configs = Properties()
config_path = os.getcwd() +"/" + file_name
with open(config_path, 'rb') as config_file:
configs.load(config_file)
items_view = configs.items()
db_configs_dict = {}
for item in items_view:
db_configs_dict[item[0]] = item[1].data
值得一提的是,配置文件会在在os.getcwd()当前运行目录下。