Spark整合Mongodb

原创 2017年11月13日 18:14:36
$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log 
  • pom依赖
     <dependency>
      <groupId>org.mongodb.spark</groupId>
      <artifactId>mongo-spark-connector_2.11</artifactId>
      <version>${spark.version}</version>
    </dependency>
  • 实例代码
 object ConnAppTest {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .master("local[2]")
      .appName("ConnAppTest")
      .config("spark.mongodb.input.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输入
      .config("spark.mongodb.output.uri", "mongodb://192.168.31.136/testDB.testCollection") // 指定mongodb输出
      .getOrCreate()
    // 生成测试数据
    val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"{test: $i}")))
    // 存储数据到mongodb
    MongoSpark.save(documents)
    // 加载数据
    val rdd = MongoSpark.load(spark)
    // 打印输出
    rdd.show
  }
}
版权声明:转载请标注原文地址

MongoDB + Spark: 完整的大数据解决方案

原文链接 Spark介绍 按照官方的定义,Spark 是一个通用,快速,适用于大规模数据的处理引擎。 通用性:我们可以使用Spark SQL来执行常规分析, Spark St...
  • u010385646
  • u010385646
  • 2016年09月30日 17:12
  • 7560

SpringMVC+MongoDB整合及注意事项

废话不多说 这里先带上项目的各jar包,因为版本之间的差异所爬的坑,已经数不胜数: //重要的jar都圈出来了,其他包可能与本题目无关 application.properties: ...
  • jaky0306
  • jaky0306
  • 2017年01月05日 12:10
  • 2904

【MongoDB】【Spark】在MongoDB上使用Spark

【翻译】MongoDB-Hadoop整合Spark?来看这篇文章
  • arctan90
  • arctan90
  • 2015年05月19日 10:36
  • 3463

spark读取mongodb数据配置

原文出处:http://blog.csdn.net/omrapollo/article/details/66968147引入依赖创建方法见上一篇博客: Spark+IntelliJ IDEA创建项目引...
  • oMrApollo
  • oMrApollo
  • 2017年03月27日 09:41
  • 2913

Spark与HBase的整合

前言 之前因为仅仅是把HBase当成一个可横向扩展并且具有持久化能力的KV数据库,所以只用在了指标存储上,参看很早之前的一篇文章基于HBase做Storm 实时计算指标存储。这次将HBase用在...
  • u014589856
  • u014589856
  • 2017年07月28日 14:08
  • 528

SpringBoot非官方教程 | 第八篇:springboot整合mongodb

这篇文章主要介绍springboot如何整合mongodb。
  • forezp
  • forezp
  • 2017年04月28日 22:17
  • 28460

spark处理mongodb数据(python版)

mongodb是一种文档型数据库,作为一个适用于敏捷开发的数据库,mongodb的数据模式可以随着应用程序的发展而灵活地更新。但是mongodb适合一次查询的需求,对于统计、分析(尤其是在需要跨表、跨...
  • helloUSB2010
  • helloUSB2010
  • 2016年12月03日 21:48
  • 4504

springmvc整合mongodb 增查改删操作

1. 新建dynamic web project,项目结构如下: 编辑web.xml xmlns="http://java.sun.com/xml/ns/javaee" xsi:schema...
  • wuxidemo
  • wuxidemo
  • 2016年11月21日 09:59
  • 2979

MongoDB与Java的整合

1.前提准备 需要导入的jar包: gson-2.7.jar mongo-java-driver-3.4.2.jar mongodb-driver-3.4.2.jar mongodb-dri...
  • JXYZH11
  • JXYZH11
  • 2017年02月27日 22:29
  • 261

spark源码阅读一-spark-mongodb代码分析

源码的github地址https://github.com/mongodb/mongo-spark,是mongodb发布的spark connection接口库,可以方便的使用spark读写mongo...
  • crackwl
  • crackwl
  • 2017年07月31日 15:47
  • 682
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark整合Mongodb
举报原因:
原因补充:

(最多只允许输入30个字)