CDH6.2配置spark.yarn.jars目录

按照官网的文档采用以下操作即可：

• 进入CM界面
• 选择spark服务
• 配置 搜索spark-defaults.conf
• 添加spark.yarn.jars=hdfs://ns1/user/spark/jars
• 部署客户端并重启

但实际重启后发现节点上的配置文件依然是默认属性，没有分发覆盖，具体还没找到解决办法。

暂时采用软链的方式，如果不得已在CM界面修改了配置并部署，则需要重新创建软链：

创建外部配置文件vi /data/common/conf/spark/spark-defaults.conf

# 默认配置
...
...

# yarn运行依赖jar
spark.yarn.jars=hdfs://ns1/user/spark/jars/spark/*,hdfs://ns1/user/spark/jars/hive/*,hdfs://ns1/user/spark/jars/dongao/*
# 编码问题
spark.driver.extraJavaOptions=-Dfile.encoding=utf-8
spark.executor.extraJavaOptions=-Dfile.encoding=utf-8

创建软链:

ln -s /data/common/conf/spark/spark-defaults.conf /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/spark/conf/spark-defaults.conf

线索（20190826 - 待验证）

在元数据