mongodb和spark的整合(sparkRDD，sparkSQL)

meiLin_Ya

于 2018-10-23 11:38:32 发布

阅读量1.2k

点赞数 3

分类专栏： NOSQ

本文链接：https://blog.csdn.net/meilin_ya/article/details/83304545

版权

本文探讨了如何将MongoDB数据库与Apache Spark进行集成，重点介绍了使用SparkCore的RDD操作以及通过SparkSQL进行数据查询的方法。

摘要由CSDN通过智能技术生成

话不多数，代码来了

sparkcore和mongodb

package com.bw.day02

import com.mongodb.spark.MongoSpark
import com.mongodb.spark.rdd.MongoRDD
import org.apache.spark.{SparkConf, SparkContext}
import org.bson.Document

object MongoSparkRDD {

  def main(args: Array[String]): Unit = {

    val conf = new SparkConf()
      .setMaster("local[*]").setAppName("MongoSparkRDD")
      .set("spark.mongodb.input.uri", "mongodb://he:123456@192.168.12.11:27017/bike.log")
      .set("spark.mongodb.output.uri", "mongodb://he:123456@192.168.12.11:27017/bike.result")
    //创建sparkContext
    val sc = new SparkContext(conf)

    val MongoRDD: MongoRDD[Document] = MongoSpark.load(sc)

    val pv: Long = MongoRDD.count()
    //过滤，缓存  按照每天


    val uv = MongoRDD.map(rdd => {
      rdd.getString("openid")
    }).distinct().count()

    println("pv " +