spark 写入单机elasticsearch

最新推荐文章于 2021-12-29 15:46:43 发布

shuai_fan

最新推荐文章于 2021-12-29 15:46:43 发布

阅读量478

点赞数

本文链接：https://blog.csdn.net/shuai_fan/article/details/80168564

版权

本文介绍如何使用 Spark 2.3.0 将 DataFrame 数据写入到 Elasticsearch 6.2.3 中。具体实践包括配置依赖关系、设置 SparkSession 并读取 Parquet 文件，最后利用 EsSparkSQL 将数据保存到 Elasticsearch 的指定索引。

摘要由CSDN通过智能技术生成

版本：

spark：2.3.0

elasticsearch：6.2.3

依赖：

<dependency>
    <groupId>org.elasticsearch</groupId>
    <artifactId>elasticsearch-spark-20_2.11</artifactId>
    <version>6.2.4</version>
</dependency>

将dataframe写入es代码：

package forms

import org.apache.spark.sql.{DataFrame, SparkSession}
import org.elasticsearch.spark.sql.EsSparkSQL

object Form_3 {
  val sparkSession = SparkSession.builder()
    .config("es.index.auto.create", "true")
    .config("es.nodes", "192.168.2.246")
    .master("local[*]").appName("").getOrCreate()

  def main(args: Array[String]): Unit = {
    val all_df = sparkSession.read.parquet("/UZ/Taobao/search_list/*/*/*/*","/UZ/Tmall/search_list/*/*/*/*")
    EsSparkSQL.saveToEs(all_df,"good/info")
  }
}