【Spark五十】Spark读写MongoDB

最新推荐文章于 2022-10-29 16:13:47 发布

axxbc123

最新推荐文章于 2022-10-29 16:13:47 发布

阅读量883

点赞数

分类专栏： Spark 文章标签：数据库大数据

本文链接：https://blog.csdn.net/axxbc123/article/details/84701047

版权

本文详细介绍了如何使用Spark将RDD数据写入MongoDB，包括所需的Hadoop-MongoDB-Connector和MongoDB Driver依赖，以及配置mongo.output.uri和mongo.input.uri的说明。在示例中，无需预先创建数据库和集合，MongoDB Driver会自动处理。同时，文章还讨论了如何在URI中设置MongoDB的用户名和密码。

摘要由CSDN通过智能技术生成

1. Spark写入MongoDB的实例代码

如下代码实现将RDD写入到MongoDB的spark数据库的oc集合(Collection)中

package spark.examples.db

import org.apache.hadoop.conf.Configuration
import org.apache.spark.{SparkContext, SparkConf}
import com.mongodb.hadoop.MongoOutputFormat
import org.apache.spark.SparkContext._
import org.bson.BasicBSONObject

object SparkMongoDBIntegration {

  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("SparkRDDCount").setMaster("local")
    val sc = new SparkContext(conf);
    val data = sc.parallelize(List(("Tom", 31), ("Jack", 22), ("Mary", 25)))
    val config = new Configuration()
    //spark.oc指的是，spark是MongoDB的数据库的名字，而ic表示数据库中的一个Collection
    config.set("mongo.input.uri", "mongodb://192.168.26.137:27017/spark.ic")
    co