Spark整合Mongodb

原创 2017年11月13日 18:14:36
$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log 
  • pom依赖

    <dependency>
    <groupId>org.mongodb.spark</groupId>
    <artifactId>mongo-spark-connector_2.11</artifactId>
    <version>${spark.version}</version>
    </dependency>
  • 实例代码

    object ConnAppTest {
    def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
    .master("local[2]")
    .appName("ConnAppTest")
    .config("spark.mongodb.input.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输入
    .config("spark.mongodb.output.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输出
    .getOrCreate()
    // 生成测试数据
    val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"{test: $i}")))
    // 存储数据到mongodb
    MongoSpark.save(documents)
    // 加载数据
    val rdd = MongoSpark.load(spark)
    // 打印输出
    rdd.show
    }
    }
版权声明:转载请标注原文地址

相关文章推荐

spark/hadoop整合mongodb

MongoDB是一个文档型数据库,它可以方便的应用于大多数语言,其次是实现是C++,根据相关人员的测试证明mongodb的查询性能要好于现在市面上好多nosql数据库,相关的测试连接如下: htt...

MongoDB+Spark.pdf

  • 2017年11月16日 11:19
  • 4.07MB
  • 下载

MongoDB + Spark: 完整的大数据解决方案

MongoDB上海的活动已经结束快1个月了,我们再来回顾一下TJ在大会上进行的精彩分享吧~ MongoDB + Spark: 完整的大数据计算解决方案。 Spark介绍 按照官方的定义...

spark 连接 mongodb 使用例子

  • 2017年09月12日 16:05
  • 730KB
  • 下载

MongoDB + Spark: 完整的大数据解决方案

MongoDB上海的活动已经结束快1个月了,我们再来回顾一下TJ在大会上进行的精彩分享吧~ MongoDB + Spark: 完整的大数据计算解决方案。 Spark介绍 按照官方的定义...

HDFS HA、YARN HA、Zookeeper、HBase HA、Mysql、Hive、Sqool、Flume-ng、storm、kafka、redis、mongodb、spark安装

大数据部署

spark读取mongodb

Spark-mongodb: Spark操作mongodb的api提供了RDD和dataSet、DataFrame读取方式。关键看你的spark的使用版本,第三方依赖包的下载见mongodb官网 ...

spark sql 处理mongodb 数据库中的数据

spark 关于处理mongodb、json数据的技术。
  • qqLK123
  • qqLK123
  • 2017年07月22日 14:58
  • 268
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark整合Mongodb
举报原因:
原因补充:

(最多只允许输入30个字)