spark写入数据到elasticsearch

最新推荐文章于 2022-08-24 05:44:38 发布

鸭梨山大哎

最新推荐文章于 2022-08-24 05:44:38 发布

阅读量1k

点赞数

分类专栏： es spark 文章标签： elasticsearch spark kibana

本文链接：https://blog.csdn.net/u010711495/article/details/112996716

版权

spark 同时被 2 个专栏收录

121 篇文章 8 订阅

订阅专栏

6 篇文章 0 订阅

订阅专栏

本例中将DataFrame写入ES,之后利用kibana进行统计展示.

import com.hm.util.SparkHelper
import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

object Test {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkHelper.getSparkSession
    val options = Map(
      //如果没有index,则新建
      "es.index.auto.create" -> "true",
      "es.nodes.wan.only" -> "true",
      //安装es的服务器节点
      "es.nodes" -> "192.168.xx.xx1",
      //es的端口
      "es.port" -> "9200"
    )
    
    //读取数据成为DF
    val sourceDF: DataFrame = spark.read.load("output/rs")
    //DF可以直接写入ES
    sourceDF
      .write
      .format("org.elasticsearch.spark.sql")
      .options(options)
      .mode(SaveMode.Append)
      //index为hive_table
      .save("hive_table/docs")
  }
}