spark 读取elasticsearch数据

添加依赖

<dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch-hadoop</artifactId>
            <version>6.8.7</version>
</dependency>

案例测试

import com.hm.util.SparkHelper
import org.apache.spark.sql.{DataFrame, SparkSession}

object ReadbyES {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkHelper.getSparkSession
    import org.elasticsearch.spark.sql._
    val options = Map(
      "es.nodes.wan.only" -> "true",
      "es.nodes" -> "192.168.xx.1xx",
      "es.port" -> "9200"
    )
    val df: DataFrame = spark
      .read
      //指定输入数据源格式。
      .format("es")
      //为基础数据源添加输入选项。
      .options(options)
      //对于需要路径的数据源（例如，由本地或分布式文件系统支持的数据），将输入作为DataFrame加载。
      .load("hive_table/docs")
    df.show()
  }
}