最近由于公司的spark版本升级使用spark2.1.1版本,个人感觉spark2.1.1确实好用些。
我写的代码上需要连接elasticsearch,去es查询然后返回结果,这个时候在使用maven打包然后运行就会报下面的错
之前在使用spark1.6的就没有出现过这个情况。查看错误发现是无法创建ES的客户端,上网查看质料原因是guava18个和包和
2.pom文件配置完成后运行:
mvn clean install
如图所示
然后用maven打包,测试一下会发现,冲突问题解决了。
我写的代码上需要连接elasticsearch,去es查询然后返回结果,这个时候在使用maven打包然后运行就会报下面的错
之前在使用spark1.6的就没有出现过这个情况。查看错误发现是无法创建ES的客户端,上网查看质料原因是guava18个和包和
spark自带的冲突了。然后通过maven-shade-plugin 解决Elasticsearch与spark的jar包冲突问题
1.首先是参考es官网blog:https://www.elastic.co/blog/to-shade-or-not-to-shade ,新建一个maven项目进行如下配置
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>my.elasticsearch</groupId>
<artifactId>es-shaded</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<elasticsearch.version>2.3.3</elasticsearch.version>
</properties>
<dependencies>
<dependency>
<groupId>org.elasticsearch</groupId>
<artifactId>elasticsearch</artifactId>
<version>${elasticsearch.version}</version>
</dependency>
<dependency>
<groupId>org.elasticsearch.plugin</groupId>
<artifactId>shield</artifactId>
<version>${elasticsearch.version}</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.4.3</version>
<configuration>
<createDependencyReducedPom>false</createDependencyReducedPom>
</configuration>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<relocations>
<relocation>
<pattern>com.google.guava</pattern>
<shadedPattern>my.elasticsearch.guava</shadedPattern>
</relocation>
<relocation>
<pattern>org.joda</pattern>
<shadedPattern>my.elasticsearch.joda</shadedPattern>
</relocation>
<relocation>
<pattern>com.google.common</pattern>
<shadedPattern>my.elasticsearch.common</shadedPattern>
</relocation>
<relocation>
<pattern>com.google.thirdparty</pattern>
<shadedPattern>my.elasticsearch.thirdparty</shadedPattern>
</relocation>
</relocations>
<transformers>
<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer" />
</transformers>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
<repositories>
<repository>
<id>elasticsearch-releases</id>
<url>http://maven.elasticsearch.org/releases</url>
<releases>
<enabled>true</enabled>
<updatePolicy>daily</updatePolicy>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
</repositories>
</project>
2.pom文件配置完成后运行:
mvn clean install
如图所示
然后看到build success的话表示打包成功,新的依赖包会在我们之前配置的maven repository文件夹中。如图所示出现在我安装的maven环境下了。
3.下面回到原来的集成项目的pom文件中。引入该jar包: (注意这里需要排除掉之前引用的es2.3.3的jar包,不然maven会将2.3.3的jar包打进去,造成冲突)
<dependency>
<groupId>my.elasticsearch</groupId>
<artifactId>es-shaded</artifactId>
<version>1.0-SNAPSHOT</version>
<exclusions>
<exclusion>
<groupId>org.elasticsearch</groupId>
<artifactId>elasticsearch</artifactId>
</exclusion>
</exclusions>
</dependency>
然后用maven打包,测试一下会发现,冲突问题解决了。