Spark连接Mongodb

简介

MongoDB下载地址
MongoDB Connector for Apache Spark，是用于Apache Spark的MongoDB连接器公开了Spark的所有库，包括Scala、Java、Python和R. MongoDB数据被具体化为数据流和数据集，用于使用机器学习、图、流和SQL api进行分析。

这里是Spark和MongoDB部署的一个典型架构。

Spark任务一般由Spark的driver节点发起，经过Spark Master进行资源调度分发。比如这里我们有4个Spark worker节点，这些节点上的几个executor 计算进程就会同时开始工作；
每个executor会独立的去MongoDB取来原始数据，直接套用Spark提供的分析算法或者使用自定义流程来处理数据，计算完后把相应结果写回到MongoDB。
我们需要提到的是：在这里，所有和MongoDB的交互都是通过一个叫做Mongo-Spark的连接器来完成的。

实现方式

Spark Shell的方式

./bin/spark-shell --conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred" \
                  --conf "spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection" \
                  --packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.0

参数说明：

参数	说明	是否必要
–packages	连接MongoDB的驱动包，_2.11 为Scala的版本号	是
–conf	MongoDB Spark的配置参数	是

具体参数可参考：https://docs.mongodb.com/spark-connector/current/configuration/

ScalaAPI的方式

• pom.xml文件

  <dependency>
        <groupId>org.mongodb.spark</groupId>
  <artifactId>mongo-spark-connector_2.11</artifactId>
        <version> 2.0.0 </version>
  </dependency>
  

• 导包

  import com.mongodb.spark._;
  

• 基本配置讲解

  val conf=new SparkConf().setAppName("mongodbTest")
       .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")  //定义序列化方式
       .set("spark.mongodb.input.uri", "mongodb://10.211.55.7:27017/bigdata.person") //定义输入地址
       .set("spark.mongodb.output.uri", "mongodb://10.211.55.7:27017/bigdata.person") //定义输出地址
  	 .set("spark.mongodb.keep_alive_ms", "10000000")  //定义链接时间
  

• 写入到MongoDB

  • 把RDD写入到MongoDB

    import org.bson.Document
    
    val documents = sc.parallelize((1 to 10).map(i => Document.parse(s"{test: $i}")))
    
    MongoSpark.save(documents) // Uses the SparkConf for configuration
    

  • 使用WriteConfig的方式写入到MongoDB

    import com.mongodb.spark.config._
    
    val writeConfig = WriteConfig(Map("collection" -> "spark", "writeConcern.w" -> "majority"), Some(WriteConfig(sc)))
    val sparkDocuments = sc.parallelize((1 to 10).map(i => Document.parse(s"{spark: $i}")))
    
    MongoSpark.save(sparkDocuments, writeConfig)
    

  • RDD Save Helper Methods

    documents.saveToMongoDB() // Uses the SparkConf for configuration
    

    或者

    documents.saveToMongoDB(WriteConfig(Map("uri" -> "mongodb://example.com/database.collection")))
    // Uses the WriteConfig