阿里EMR的elasticsearch版本冲突

记录一次在阿里EMR的踩的坑

因为有个需求需要将数据写入到es，采用的方式是通过spark将dataframe写入es进行upsert操作。

使用的版本是 Spark-2.4.3 ElasticSearch-7.4.0
打好包后上传值服务器，调试运行。
代码太多，度娘一搜便是。

使用local模式调试，尽然出现了问题。

好样的，肯定是版本冲突了。

开始查原因，我知道EMR在 /opt/apps/extra_jars/目录下配置几个额外的包，其中包含了es-hadoop-6.3.2的，但我提交但时候并没引入这个就忽视了。

解决方法:

管理员觉得直接替换包的风险太大，不同意替换，那只能换个方式了。

通过查看发现进程的启动命令：

/usr/local/jdk/jdk1.8.0_231/bin/java -cp /etc/ecm/spark-conf/:/usr/lib/spark-current/jars/*  org.apache.spark.deploy.SparkSubmit --master yarn --deploy-mode cluster --conf spark.driver.memory=1g --class Spark2ES --executor-memory 4g --executor-cores 2 --num-executors 5  Spark2ES.jar 

使用到了/etc/ecm/spark-conf/这个配置目录
通过排查该目录下的spark-default.conf文件，其中有两个属性的配置会有冲突，如下图：

driver和executor将该目录下的包都加入了类路径，那自然会跟我的版本冲突了。
解决方式也简单，在spark-submit时重写该参数的信息即可,只要不包含这个引起冲突的包。

再次以local模式运行，成功通过。

Spark ON Yarn再次报错

修改master 为yarn ，再次报同样的错误。版本冲突。
查看启动命令：

/usr/local/jdk/jdk1.8.0_231/bin/java -cp /etc/ecm/spark-conf/:/usr/lib/spark-current/jars/*:/etc/ecm/hadoop-conf/ org.apache.spark.deploy.SparkSubmit --master yarn --deploy-mode cluster --conf spark.driver.memory=1g --conf spark.executor.extraClassPath=hdfs:///user/data_dev/blank_dir --conf spark.driver.extraClassPath=hdfs:///user/data_dev/blank_dir --class Spark2ES --executor-memory 4g --executor-cores 2 --num-executors 5  Spark2ES.jar

比之前多了个目录:/etc/ecm/hadoop-conf/，引起冲突的地方肯定是该目录下的某个配置。
经过仔细排查：
yarn-site.xml文件中配置了每个application的类路径，其中就包含老版本es包的路径。

查这个错误真是痛苦，好歹定位到了。
在提交任务的时候重写一下hadoop配置就好了。

最终脚本

大致内容如下：

spark-submit \
--class Spark2ES \
--conf spark.executor.extraClassPath=hdfs:///user/data_dev/blank_dir \
--conf spark.driver.extraClassPath=hdfs:///user/data_dev/blank_dir \
--conf spark.hadoop.yarn.application.classpath=$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,$HADOOP_YARN_HOME/share/hadoop/yarn/*,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*,$HADOOP_HOME/share/hadoop/tools/lib/* \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--executor-memory 4g \
--executor-cores 2 \
--num-executors 5 \
--queue bd \
/home/data_dev/hxl/Spark2ES.jar ${esNodes} ${esPort} ${esUser} ${esPasswd} ${esIndex} ${mysqlUrl} ${mysqlUser} ${mysqlPasswd}

设置hadoop的属性的时候需要加spark.hadoop前缀。不然spark-conf是会过滤的。这部分可以看一下源码。
提交代码成功，总算跨过去了。

随手写的，没怎么考虑文笔和格式，见者勿怪