spark读取es数据

最新推荐文章于 2024-09-18 14:47:29 发布

西安人走哪都要吃泡馍

最新推荐文章于 2024-09-18 14:47:29 发布

阅读量1.4k

点赞数

分类专栏： spark 文章标签： spark elasticsearch 大数据

本文链接：https://blog.csdn.net/data_curd/article/details/109497126

版权

spark 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

val conf = new SparkConf().setAppName("Test02").setMaster("local[*]")
    conf.set("es.index.auto.create","true")
    conf.set("es.nodes","192.168.161.101")
    conf.set("es.port","9200")
    conf.set("es.nodes.wan.only","true")
    conf.set("es.read.field.as.array.include","array名字")//
    val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate()
    val ess: DataFrame = spark.sqlContext.read.format("org.elasticsearch.spark.sql")
      .option("inferSchema", "true")
      .load("index/Type")
    ess.show(false)