需求场景
使用yarn-cluster模式提交Spark任务且需要读取的外部配置文件在本地(driver端)
,当然也可以把外部配置文件放在hdfs上以达到给所有executor广播的效果,但是此处单讨论懒人偏爱操作
解决办法
- 1、 在Spark-submit命令中加上参数 --files application.conf (可以配置多个文件,逗号隔开)
spark-submit \
--queue root.bigdata \
--master yarn-cluster \
--name targetStrFinder \
--executor-memory 2G \
--executor-cores 2 \
--num-executors