spark和elasticsearch的整合

最新推荐文章于 2022-12-27 15:48:51 发布

passer199101

最新推荐文章于 2022-12-27 15:48:51 发布

阅读量3.1k

点赞数

分类专栏： ES spark

本文链接：https://blog.csdn.net/u012307002/article/details/52933746

版权

spark 同时被 2 个专栏收录

41 篇文章 0 订阅

订阅专栏

38 篇文章 0 订阅

订阅专栏

下载jar包
https://www.elastic.co/downloads/hadoop

将elasticsearch-spark_2.10-2.4.0.jar加入类路径里面

        import org.elasticsearch.spark.sql._
        // DataFrame schema automatically inferred
        val conf = new SparkConf().setAppName("Statistics")
        conf.setMaster("local");
        conf.set("es.nodes", "20.2.1.16")
        conf.set("es.port", "9200")
        val sc = new SparkContext(conf)
        val sqlContext = new SQLContext(sc)

        val df = sqlContext.read.format("es").load("product93_20161024")

        df.printSchema()
        println(df.count())