在一些场景下我们可能会遇到需要从es导出一部分特定的数据然后进行处理这样的情况,这个时候spark会是一个不错的选择。
第一步 maven配置
这里一些工具使用的版本:
spark:2.3.4
elasticsearch:7.0.0
scala:2.11.8
maven配置如下:
<dependencies>
<!-- 导入scala的依赖 -->
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.11.8</version>
</dependency>
<!-- 导入spark的依赖 -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>