spark mongo java_Spark整合Mongodb的方法 _ 蚂蚁视界

Spark先容

依照官方的界说，Spark 是一个通用，快速，实用于年夜范围数据的处置引擎。

通用性：我们可以使用Spark SQL来执行惯例阐发， Spark Streaming 来流数据处置， 以及用Mlib来执行机械进修等。Java，python，scala及R语言的支撑也是其通用性的表示之一。

快速： 这个可能是Spark胜利的最初缘故原由之一，主要归功于其基于内存的运算方式。当必要处置的数据必要重复迭代时，Spark可以直接在内存中暂存数据，而无需像Map Reduce一样必要把数据写回磁盘。官方的数据注解：它可以比传统的Map Reduce快上100倍。

年夜范围：原生支撑HDFS，而且其计算节点支撑弹性扩大，应用年夜量便宜计算资本并发的特色来支撑年夜范围数据处置。

情况预备

mongodb下载

解压安装

启动mongodb服务

$MONGODB_HOME/bin/mongod --fork --dbpath=/root/data/mongodb/ --logpath=/root/data/log/mongodb/mongodb.log

pom依附

org.mongodb.spark

mongo-spark-connector_2.11

${spark.version}

实例代码

object ConnAppTest {

def main(args: Array[String]): Unit = {

val spark = SparkSession.builder()

.master("大众local[2]"大众)

.appName("大众ConnAppTest"大众)

.config("大众spark.mongodb.input.uri"大众, "大众mongodb://192.168.31.136/testDB.testCollection"大众) // 指定mongodb输入

.config("大众spark.mongodb.output.uri"大众, "大众mongodb://192.168.31.136/testDB.testCollection"大众) // 指定mongodb输出

.getOrCreate()

// 天生测试数据

val documents = spark.sparkContext.parallelize((1 to 10).map(i => Document.parse(s"大众{test: $i}"大众)))

// 存储数据到mongodb

MongoSpark.save(documents)

// 加载数据

val rdd = MongoSpark.load(spark)

// 打印输出

rdd.show

}

}

总结

以上所述是小编给年夜家先容的Spark整合Mongodb的办法，愿望对年夜家有所赞助，假如年夜家有任何疑问请给我留言，小编会实时回复年夜家的。在此也异常感激年夜家对剧本之家网站的支撑！

您可能感兴致的文章:

Spark SQL数据加载和保留实例讲授Spark调剂架构原理详解Spark SQL操作JSON字段的小技能