spark读取es数据遇到的问题

最新推荐文章于 2024-07-26 23:13:56 发布

luoyunfan6

最新推荐文章于 2024-07-26 23:13:56 发布

阅读量1.1k

点赞数

分类专栏：问题文章标签： spark es

本文链接：https://blog.csdn.net/luoyunfan6/article/details/103213350

版权

在尝试使用Spark 2.2.0读取ES 6.3.1集群数据时，遇到任务失败的错误，主要是由于'Unexpected character'问题。错误出现在org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest，提示在JSON解析过程中期望冒号但得到右大括号。通过将ES版本升级到6.5.3，问题得到解决。可能是ES 6.3.1版本的兼容性或包问题导致。

摘要由CSDN通过智能技术生成

es版本：6.3.1

spark版本：2.2.0

导入pom依赖

<dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch-spark-20_2.11</artifactId>
            <version>6.3.1</version>
</dependency>

测试程序：

package scala

import org.apache.spark.sql.SparkSession
import org.apache.spark.{SparkConf, SparkContext}
import org.elasticsearch.spark._

object SparkWithESDemo {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder()
      .master("local[*]")
      .appName(SparkWithESDemo.getClass.getSimpleName)
      .config("es.nodes", "mini1")
      .config("port", "9200")
      .config("es.index.auto.create", "true")
      .getOrCreate()

    val sc = spark.sparkContext
    import org.elasticsearch.spark._


    val queryStr =
      """
        |{
        | "query" : {
        |   "match_all" : {}
        | }
        |}
        |""".stripMargin

    sc.esRDD("bigdata", queryStr)
      .map(perEle => {
        val record = perEle._2
        val name = record.getOrElse("name", "")
        val author = record.getOrElse("author", "")
        val version = record.getOrElse("version", "")
        (name, author, version)
      }).foreach(println)

    spark.stop()
  }
}

用spark代码读取es集群数据报如下错误：