Spark整合Mongodb

原创 2017年11月13日 18:14:36
$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log 
  • pom依赖
     <dependency>
      <groupId>org.mongodb.spark</groupId>
      <artifactId>mongo-spark-connector_2.11</artifactId>
      <version>${spark.version}</version>
    </dependency>
  • 实例代码
 object ConnAppTest {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .master("local[2]")
      .appName("ConnAppTest")
      .config("spark.mongodb.input.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输入
      .config("spark.mongodb.output.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输出
      .getOrCreate()
    // 生成测试数据
    val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"{test: $i}")))
    // 存储数据到mongodb
    MongoSpark.save(documents)
    // 加载数据
    val rdd = MongoSpark.load(spark)
    // 打印输出
    rdd.show
  }
}
版权声明:转载请标注原文地址 https://blog.csdn.net/soul_code/article/details/78523140

spark 连接 mongodb 使用例子

  • 2017年09月12日 16:05
  • 730KB
  • 下载

<转>当MongoDB遇见Spark

适宜读者人群 正在使用Mongodb的开发者 传统Spark生态系统 和 MongoDB在Spark生态的角色 传统Spark生态系统 Spark生态系统 那...
  • yongjian_luo
  • yongjian_luo
  • 2017-03-27 10:25:57
  • 802

Spark操作mongodb

package org.spark.mongo; import java.util.Arrays; import java.util.Collections; import java.u...
  • doudou311
  • doudou311
  • 2016-11-11 15:36:59
  • 2703

MongoDB + Spark: 完整的大数据解决方案

原文链接 Spark介绍 按照官方的定义,Spark 是一个通用,快速,适用于大规模数据的处理引擎。 通用性:我们可以使用Spark SQL来执行常规分析, Spark St...
  • u010385646
  • u010385646
  • 2016-09-30 17:12:48
  • 8442

spark/hadoop整合mongodb

MongoDB是一个文档型数据库,它可以方便的应用于大多数语言,其次是实现是C++,根据相关人员的测试证明mongodb的查询性能要好于现在市面上好多nosql数据库,相关的测试连接如下: htt...
  • qq_14950717
  • qq_14950717
  • 2016-05-06 15:32:10
  • 3425

spark+mongodb大数据框架搭建

spark+mongodb大数据框架搭建
  • chenguohong88
  • chenguohong88
  • 2017-09-05 14:14:32
  • 1699

Spark - 利用 Spark SQL + MongoDB 对PandaTV主播进行等级分类

Spark SQL 使用Spark SQL时,最主要的两个组件就是DataFrame和SQLContext。 1. DataFrame DataFrame是一个分布式的,按照命名列的形式组织的数据集...
  • PeersLee
  • PeersLee
  • 2017-04-20 14:34:29
  • 2127

spark源码阅读一-spark-mongodb代码分析

源码的github地址https://github.com/mongodb/mongo-spark,是mongodb发布的spark connection接口库,可以方便的使用spark读写mongo...
  • crackwl
  • crackwl
  • 2017-07-31 15:47:29
  • 1002

mongo-spark-connector笔记

记一次神奇的mongo-spark-connector
  • github_36869152
  • github_36869152
  • 2017-05-12 20:33:17
  • 1684

Spark连接MongoDB

jdk1.8安装jdk解压到/opt/java目录,然后在~/.bashrc中加入下面几行:export JAVA_HOME=/opt/java/jdk1.8.0_101 export JRE_HOM...
  • u010385646
  • u010385646
  • 2016-10-12 19:21:12
  • 7417
收藏助手
不良信息举报
您举报文章:Spark整合Mongodb
举报原因:
原因补充:

(最多只允许输入30个字)