本文主要介绍Mongodb中CRUD常用操作、存储引擎、数据模型,以及如何使用java Driver。
一、BSON
Mongodb中数据存储格式为BSON,和JSON非常类似,可以说在整体的结构几乎一样,只不过BSON定义了更多的数据类型,这对面向对象编程语言非常友好。
{
"_id": {
"$oid": "55f6c87fdefdd10de72fc024"
},
"name": "zhangsan",
"age": 30,
"is_alive": true,
"addresses": [
"beijing",
"shanghai"
],
"created": {
"$date": 1442236543707
}
}
文档格式大概如上所示,如果数据类型时JSON不支持的,那么数据类型也将写入文档中,比如date。BSON中有2个比较特殊的类型,其中date对应java中的Date,array对于java中List。其他类型比如boolean,string,int等与java都一一对应。
在mongodb中,一条数据称为一个document,其API类为org.bson.Document,当然Document也是Bson的子类,同时也实现了Map接口,其内部有一个LinkedHashMap作为数据支撑(所以mongodb中字段是有顺序的)。
Document user = new Document()
.append("name", "zhangsan")
.append("age", 30)
.append("is_alive",true)
.append("addresses", Arrays.asList("beijing","shanghai"))
.append("created", new Date());
上述就是创建一个Document的过程,这和操作一个Map其实并没有太大区别。
二、java driver示例
如下简单展示如何使用mongodb java客户端开发,因为下面的例子都是基于JAVA的。具体参见:“mongodb java”
<dependency>
<groupId>org.mongodb</groupId>
<artifactId>mongodb-driver</artifactId>
<version>3.0.3</version>
</dependency>
创建MongoClient的方式有多种,可以参看MongoClient的构造方法即可。最终归结来由2个主要方式,一个是MongClient + MongoClientOptions,另一个是MongClient + conenctionString。例子如下,如果想在spring环境中使用,请你继续封装。关于授权登陆,SSL方面,稍后会专门介绍,此处仅为示例:
MongoClient mongoClient = new MongoClient("127.0.0.1", 27017);
//MongoClient mongoClient = new MongoClient(new MongoClientURI("mongodb://127.0.0.1:27017"));
MongoDatabase db = mongoClient.getDatabase("test");//获取DB
MongoCollection<Document> collection = db.getCollection("user");//获取collection(表)
//通过collection进行CRUD操作
CRUD的例子将会在下文中列举。
三、Read操作
即从mongodb中读取一条或者多条数据,可以在query中使用多种复合查询条件,这种查询条件的组合类似于SQL,我们也可以使用“projection”过滤器来指定需要返回的结果中包含(不包含)哪些字段,以提升IO效率,因为Mongodb可以使用众多的类似于SQL的查询操作,而且支持多种indexes,这或许就是mongodb的亮点所在。(Mongodb之上的SQL引擎:Drill,即使用sql查询mongodb数据)
MongoCollection<Document> collection = db.getCollection("user");//获取collection(表)
//通过collection进行CRUD操作
Bson parent = Filters.eq("name", "zhangsan");
parent = Filters.and(parent,Filters.gt("age", 10));
MongoCursor<Document> cursor = collection.find(parent).sort(new Document("age", 1)).skip(10).limit(5).iterator();
try {
while (cursor.hasNext()) {
Document item = cursor.next();
System.out.println(item.toJson());
}
} finally {
cursor.close();//must be
}
上面例子就是一个典型的query,我们基本上可以通过多种组合,即可完成复杂的查询。我们使用了Filters API来构建查询条件,这是一个便捷的方式。当然开发者也可以自己使用mongodb的“比较指令”来自己封装:
Document filter = new Document("name",new Document("$eq","zhangsan"));
自己封装不仅繁琐而且易于出错,建议使用Filters。
1、比较符
mongodb支持如下几种比较操作,它们均可以在query的查询条件中:$eq(相等,逐字节比较),$gt(大于),$gte(大于等于),$lt(小于),$lte(小于等于),$ne(不等于),$in(值是否在指定的数组中),$nin(值不在制定的数组中)。
2、逻辑判断符
$or:逻辑or,如果document匹配多个条件判断中的一个或者多个,则将此document返回。
$and:逻辑and,document必须匹配全部的判断条件。
$not:逻辑!,$and取反,如果document不匹配条件,则返回此document。比如:"age":{$not:{$gt:16}}表示“获取age不大于16的document”,它的内部检测过程就是“如果此document存在age字段,且大于16的,一律不返回”,言外之意是:如果document中不包含age字段,或者age的值小于等于16的均会返回。
$nor:not or。
3、元素
$exists:检测文档中是否存在此字段,比如: "name":{$exists:true}表示如果name字段存在,则返回此文档。
$type:检测文档中字段的类型,比如:"age":{$type:16}表示如果age字段的类型为int则返回此文档,参见BSON Types
4、数组
$all:如果字段的值是数组,$all表示此数组中包含指(不一定必须等于)定的所有元素。比如:"addresses":{$all:["beijing","shanghai"]},首先addresses字段值是一个数组,且同时包含“beijing”、“shanghai”两个元素。
$elemMatch:数组中至少包含一个元素同时满足条件,比如:"item":{$elemMatch:{$gt:25,$lt:60}},这表示数组item至少包含一个元素大于25且小于60,item:[15,26,70]这个文档就符合要求,而item:[16,62]就不符合要求。
$size:数组的元素个数满足条件,比如"item":{$size:2}则会返回item中元素个数为2的文档。
此外,我们可以在表达式中指定index位置来获取数组中的元素:
collection.find(new Document("addresses.0","beijing"))
表示获取addresses这个数组中第0个位置的元素值为“beijing”的文档。
5、运算与表达式
$mod:取模运算,比如"price":{$mod:[4,0]}即获取price与4取模为0的文档。
$regex:正则匹配,基于PCRE,首先参与匹配的field必须建立索引,否则性能受限。语法样例为:{<field>:{$regex:/pattern/,$options:'<options>'}},比如{"name":{$regex:/^liu/,$option:i}}表示查询去name字段值以“liu”开头的文档。其中$regex表示正则表达式,表达式需要以“/”开头和结尾,$option表示辅助选项,它有4个可选值:“i”表示不区分大小写;“m”表示“多行匹配”,其中行符为"\n";“s”表示“.”符号可以匹配所有字符包括换行符,“x”表示忽略空白符。
表达式可以简写为{<field>:{$regex:/pattern/options}}。如果表达式中不包含正则匹配符(比如$,^,*等,参见PCRE),表示字符串完全匹配,而且正则表达式可以在字符串比较操作中直接使用。
比如:"name":/zhangsan/,表示name中包含完整字符串"zhangsan"的文档,"name":/^zhang/,表示以zhang开头的文档。
"name"/^zhang/i,这是正则的简写形势,表示以zhang开头且不区分大小写。
"description":"/^S/m",我们指定了选项值为m,它可以匹配多行字符串,只要每行为S开头即可。比如文档"description":"Fist line \nSecond line"将匹配成功。
6、projection
$:这个符号,很特殊,对于query而言,用于获数组中匹配比较表达的第一个元素。这是一个“projection”操作,稍后我们会详解。比如文档"number":[16,31,6,88],对于描述“如果number中存在30~100的元素,则获取第一个匹配的元素”,我们可以使用$与elemMatch:
Document filter = new Document()
.append("$gt",30)
.append("$lt",100);
MongoCursor<Document> cursor = collection.find(Filters.elemMatch("number",filter)).projection(new Document("number.$",1)).iterator();
结果将输出:{"number":[31]}。projection表示需要在结果中包含(不包含)那些字段。
projection是mongodb提供了用于过滤返回字段的操作,1表示包含字段,0表示不包含。
$slice:限定返回结果中数组元素的数量,可以只返回数据的起止位置之间的元素。
Document document = new Document("number",new Document("$slice",Arrays.asList(2,5)));
MongoCursor<Document> cursor = collection.find().projection(document).iterator();
如上例,对于number数组,只需返回位置2之后的5个元素,默认起始位置为0,语法为$slice:[skip,limit]。"number":{$slice:2}则表示返回位置2之后的元素,其中skip可以为负数,表示从尾部计数,比如$slice:[-20,5]表示从尾部计数第20个开始取5个元素。
7、find()方法:返回一个FindIterable对象,我们通常根据FindIterable获取一个Cursor,我们就可以遍历此cursor,依次读取结果集,FindIterable中有很多方法有用的方法:
1)batchSize(int size):每次网络请求返回的document条数,比如你需要查询500条数据,mongodb不会一次性全部load并返回给client,而是每次返回batchSize条,遍历完之后后再通过网路IO获取直到cursor耗尽。默认情况下,首次批量获取101个document或者1M的数据,此后每次4M,当然我们可以通过此方法来覆盖默认值,如果文档尺寸较小,则建议batchSize可以大一些。
2)skip(int number)、limit(int number):同SQL中的limit字句,即表示在符合匹配规则的结果集中skip一定数量的document,并最终返回limit条数据。可以实现分页查询。
3)maxTime(int time,TimeUnit unit):表示此次操作保持的最长时间,即server端保持cursor状态的最长时间,如果超时server端将移除此cursor,即在此通过此cursor遍历数据将会error。
4)sort(Bson bson):根据指定field排序,参与排序的字段最好是索引,如果不是,将会在内存中排序,如果参与排序的数据尺寸大于32M,将会抛出error。1表示正序,-1表示倒叙,比如"age":1表示按照age正序排序。
5)noCursorTimeout(boolean timeout):如果cursor空闲一定时间后(10分钟),server端是否将其移除,默认为false,即server会将空闲10分钟的cursor移除以节约内存。如果为true,则表示server端不需要移除空闲的cursor,而是等待用户手动关闭。无论如何,开发者都需要注意,手动关闭cursor。
6)partial(boolean partial):对于sharding集群,如果一个或者多个shard不可达,是否允许返回部分数据(只从正常的shard中获取数据)。
7)cursorType():指定cursor类型,当cursor遍历完毕后是否关闭cursor,默认是关闭,无论何时都建议手动关闭cursor(不管是否耗尽curosr);当然有些开发场景可能需要保持cursor的活性,遍历到cursor的最后一条后,不关闭cursor,继续等待,此后一段时间内如果有新数据插入到cursor之后,则可以继续遍历,这就是Tailable Cursor,通常对于Capped Collection中使用。目前支持支持3种类型的Cursor:NonTailable、Tailable、TailableAwait。
8)projection(Bson bson):限定返回结果中需要包含的filed或者数组元素。在6)中我们已经看到相关的几个例子。默认情况下,将会返回document的所有字段,1表示包含,0表示不包含。
MongoCursor<Document> cursor = collection.find().projection(new Document("name",0)).iterator();
表示文档中不包含name字段。
MongoCursor<Document> cursor = collection.find().projection(new Document("address",1)).iterator();
表示结果中只包含address字段。通过例子比较,我们会发现“包含”和“不包含”互为排斥,通常只会在projection使用一种。
8、内嵌文档:内嵌文档可以通过"."来表达路径,比如文档:
{
"_id": 1,
"addressess":{
"zip_code":100010,
"city":"beijing"
}
}
可以通过查询内部文档:
collection.find(new Document("addresses.zip_code",10010));
9、查询优化:和其他数据库一样,mongodb也支持查询优化,也支持辅助索引,同时_id字段是唯一索引,通常我们需要根据查询条件,来创建合适的辅助索引,比如在单字段索引或者多个字段的组合索引,索引的作用最终是避免对整个collection(磁盘IO)全量扫描。合适的索引将会匹配较少比例的数据,否则不当的索引事实上并不能有效的筛选数据,比如一个字段status,最多有3个不同的值,那么对status建立索引并不能提高查询性能,因为query根据status不能过滤掉大量数据,这就是“基准”。
覆盖查询(Cover query)表示查询使用了索引,且所有需要返回的字段都是索引的一部分,这意味着只需要索引就可以筛选并获得结果内容,这一过程均会在内存中进行,无需进行磁盘查询整个document,这是性能比较高的。不过,如果对数组做索引,即“multi-key index”将不支持覆盖查询;如果查询条件或者projection包含了内置document字段,则也不支持覆盖查询。比如文档:
{"_id":1,user:{login:"testuser"},如果对"user.login"建立索引,那么如下查询仍将不会使用查询覆盖:
collection.find(Filters.eq("user.login","testuser")).projection(new Document("userlogin",1))
不过这个查询仍然会使用到user.login索引,但不会覆盖查询。
在sharding环境中,如果index中不包含shard key,将不支持覆盖查询;_id除外,如果查询中仅用_id查询且返回结果中只包含_id字段,仍会使用覆盖查询。
mongodb也提供了explain,用来分析query的查询计划,通常我们可以使用explain来判定此query的性能。具体请参看explain结果分析以及explain介绍。
9、分布式查询:mongodb的分布式模型分为replica set和sharded cluster。
sharded集群中将read根据sharding key(分片键)转发到指定的shard节点,read操作非常高效;当然如果query中没有包含sharding key,那么此次read将会被转发到所有的shard节点上,并有mongos server负责merge结果(包括排序),所以这种情况性能较差(俗称scatter、gather),对于大型集群,这种查询通常是不可行的。
对于replica set而言,只是涉及到将read操作路由到哪个secondary上,默认情况下,read请求总是在primary上发生,我们可以通过指定“read preference mode”来调整这一行为。
collection.withReadPreference(ReadPreference.secondaryPreferred()).find();
上述代码表示尽可能从 secondary上读取,如果所有的secondary都失效则从primary上读取。可以实现“读写分离”。目前支持的read模式:
1)primary:读操作只发生在primary上,默认的read模式。如果primary失效,则返回error。
2)primaryPreferred:读操作发生在primary上,如果primary失效,则由secondary接收read请求。这是一种比较良好的模式,
3)secondary:读操作只发生在secondary上,如果所欲哦的secondary都失效,则返回error。
4)secondaryPreferred:读操作通常发生在secondary上,如果所有的secondary都失效,则由primary接收read请求。
5)nearest:读取“最近”的节点,mongodb客户端将评估与每个节点的网络延迟,有限选择延迟最小的节点,primary和secondary都有可能接收到read请求(不同的Client或许延迟不同)。
四、Write操作
write操作包括insert、update,replace,remove四种类型,需要清楚的是mongodb并不支持事务,所以如果write操作影响多条document,那么它们之间的变更并非原子性的,即有可能几条document修改(插入)成功但是其他的或许失败;对于一个document而言,是原子性的,不可能存在一个documnet被部分更新的情况。
Document document = new Document()
.append("number", Arrays.asList(15, 20, 44, 60, 80));
collection.insertOne(document);
对于insert操作,mongodb会检测文档中是否指定了_id,如果没有指定,server端将会根据一定的算法(ObjectId方法)生成一个并保存,如果开发者自己指定_id,需要确保全局唯一。
update操作可以根据查询条件,更新相应的一条或者多条documents。java Driver中提供了updateOne、updateMany、findAndModify等方法。可以在UpdateOptions中指定upsert来实现“如果存在就更新,否则就插入”的语义:
UpdateResult result = collection.updateOne(Filters.eq("name", "zhangsan"),
new Document("$set",new Document("modified", new Date())),
new UpdateOptions().upsert(true));
if(result.getModifiedCount() > 0) {
System.out.println("found and modified!");
}
replace就是“替换”,将整个文档,全部替换为指定的document。
1、$isolated:隔离,这涉及到mongodb lock机制,mongodb允许同时有多个read、write操作交错执行,当write操作影响到多条记录时,我们可以使用"$islolated"避免这种情况,此时write操作将持有全局锁,直到此操作涉及到的所有的document都变更完毕,此期间其他client将不会看到变更的数据,直到此write操作结束或者error退出。isolated将会较长时间的持有lock,会对整体的并发能力带来负面影响;此外,它并不表达事务中的“all-or-nothing”语义,即如果write操作更新一部分数据之后,其他document失败了,并不会“回滚”操作,那些成功的document将仍会被保留。isolated在sharded集群中不生效。
collection.updateMany(new Document("name", "zhangsan").append("$isolated",1),new Document("$set",new Document("modified", new Date()));
2、Fields更新:
1)$inc:对字段的值自增,语法格式:{$inc:{<field1>:amount1,<field2>:amount2}},正负数值都可以,负值表示自减,如果指定的filed不存在,则增加此字段且设定为指定的值。如果字段的值为null,使用inc操作将会抛出错误。
2)$mul:乘法。
3)$rename:更改字段的名称,语法:{$rename:{<field1>:<newName1>,<field2>:<newName2>}},新字段不能与原字段名一样,对于内嵌文档,可以使用“.”表示路径。如果文档中已经存在newName,则首先移除那个字段,然后再将指定的Field重命名。如果指定的字段不存在,则什么都不做。
4)$set:update操作,更新指定字段的值,如果字段不存在则添加此字段和值。
5)$unset:将指定字段从文档中移除,语法:{$unset:{<field1>:"",....}}。
6)$min:如果指定的值比字段的当前值要小,那么将字段的值修改为指定的值。比如{$min:{"score":60}},如果文档中score的值 > 60,那么$min将会把score的值修改位60。
7)$max:语义同$min。
8)$currentDate:比较有用的指令,将指定字段的值修改为当前时间,类型可以为Date或者Timestamp,默认为Date,语法为:{$currentDate:{<field1>:<type>,....}},需要使用到$type。
##使用Date类型,只需要字段值为true即可,当然也可以使用$type:date
##如果是timestamp类型,需要使用$type
{$currentDate:{
"modified_date":true,
"modified_timestamp":{$type:"timestamp"}
}
}
3、Array操作:
1)$addToSet:将元素添加到指定的数组中,如果数组中已经存在此元素值则不添加。如果此字段不是数组,则操作失败。如果此字段不存在,则创建此字段且将设定为指定的数组元素。语法:{$addToSet:{<field>:<item>}},其中item需要是一个单值,如果是数组,需要借助$each修饰符来拆解。比如:{$addToSet:{<field>:{$each:[item1,item2]}}},此时item1、item2均会分别添加到<field>的数组中。
2)$pop:从数组的头或者尾部移除一个元素,就像操作双端队列一样。-1表示移除第一个元素,1表示移除最后一个元素。语法:{$pop:{<field>: -1 | 1}}。
3)$pull:从数据中移除符合条件的所有元素,即有条件的移除。语法:{$pull:{<field1}: <value | condition>,<field2>:<value | condition>....},如果指定的是condition,那么只有某个元素同时满足所有条件才能被删除。比如数组{"item"[{"size":10,"color":"read"},[{"size":30,"color":"black"}]},那么{$pull:{"item":{"size":{$gt:20},"color":"black"}}}将会移除第二个元素。详细参见“pull”。
4)$push:将元素追加到数组的尾端。语法:{$push:{<field1>:<value1>,<field2>:<value2>,...}},如果需要对一个数组添加多个元素(子数组),那么需要使用$each修饰符。
4、modifiers(修饰符):
1)$each:可以在$addToSet和$push操作中配合使用,例子参见上。
2)$slice:我们在read操作中已经了解了slice可以用来限制返回的数组元素个数,那么在write操作中,也可以用过更新后,保留最新的num个元素,它需要配合$push和$each一起使用。
#语法
{
$push: {
"field" : {
$each:[item1,item2,item3],
$slice:<num>
}
其中slice的值为0表示将数组置为空,正数表示保留最后num个元素,负数表示保留最前的num个元素。
3)$sort:同$slice一样,必须配合$push和$each一起使用,表示push之后根据指定的方式对数组进行重排序。1表示正序,-1表示倒序,如果数组元素为内嵌文档,可以使用内嵌文档的字段排序,语法和$slice一样,只是sort部分可以为:$sort: <1 | -1>或者$sort: {<field>: <1 | -1>}
4)$position:配合$push和$each一起使用,表示push时将元素列表添加到哪个位置,默认为原数组的尾部。$position:0表示添加到第0个元素位置(即首个元素之前)。
5、writeConcern:
Write connern是mongodb提供了一种保障机制,当write操作成功后可以获得通知。mongodb有多个level的担保,这个有点类似于事务级别。当write操作使用较弱的concern,那么操作可以更快的返回(阻塞更少的时间),但有可能数据并没有持久化(写入磁盘),有丢失的风险;较强的concern需要等待较长的时间但是数据持久能力更强,更不容易丢失。详细请参考“write concern”
每个write concern包含三个参数:
1)w选项:默认值为1,即{w:1},即当客户端发送write操作后等待server返回确认信息,write操作只需要在primary上写入成功即可;“0”表示不需要向客户端返回确认信息,即当write操作发送后,客户端不需要等待server的执行结果,但是网络异常这种error仍然可以抛出;“majority”表示当write操作在primary执行成功后,并传播给“大多数”的secondary且执行成功后才返回确认信息,对于replica set架构而言,这种方式是最佳的,可以有效的避免write数据丢失的问题;如果w的值设置成任何>1的值,适合在replica set架构中使用,表示write操作在指定个数的nodes上执行成功后才返回确认信息(包括primary),如果集群中没有足够的nodes在线,则等待足额的节点加入且执行成功后返回。
2)、j选项
j选项用来控制mongod实例将数据写入磁盘上的journal日志(注意,是写入磁盘,直接flush),这可以确保在mongod异常关闭后数据不会丢失,如果此选项设置为true,则mongod必须开启journal功能,否则将会报错。当write操作写入journal日志且flush到磁盘后,才向客户端发送确认消息。
3)、wtimeout选项
指定write操作的耗时,毫秒,仅当w选项的值 > 1时适用。当write操作超时后,将会返回error,或许此write操作最终成功了(比如primary等待secondary的返回信息,此时超时,则返回给客户端error,不过最终此write可能会在secondary上成功执行,只是还没有来得及向primary返回成功消息),不过mongodb在timeout之后不会撤销已经成功的数据更新。如果设置为0或者没有设置此值,那么write操作将会等待直到满足条件。(可能导致数据不一致)
collection.withWriteConcern(WriteConcern.MAJORITY).updateMany(...)
6、分布式写入操作:
对于sharded集群中的一个shared collection(即collection允许分片存储),write操作将会由相应的shard节点负责执行,这由config server来决定。参见“分布式写入”。
对于replica set而言,write操作只能有primary负责接收,并异步的方式传播给secondary,大量的写入操作可能导致secondary不能及时的跟进,那么发生在secondary上的read操作可能会读取到旧的数据,如果primary失效,将会failover其中一个secondary成为primary,为了保证读取一致性也有可能触发rollbacks(即在primary上写入成功,但是在secondary上没有,但是primary失效了,此后primary再次加入,则需要rollback并与secondary保持一致,这也意味着此前的某些write操作丢失)。为了避免这个问题,开发者需要指定合适“write concern”,以确保足够多的secondary能够跟进primary,通过降低write的吞吐量来提高数据一致性(避免网络分区,CAP),此外还需要server端的一些额外的支持,比如oplog、journal等。
7、write操作性能
如果write操作影响到了索引,那么还需要对相应的索引进行变更。比如insert操作将会导致索引文件中新增条目,update操作中修改了索引的值也会触发索引的调整。所以这也是write操作对性能的影响之一。(高效索引设计有个要求,就是最好不要修改索引的值,是一种低效的操作)
有些update可能会导致document的尺寸增长,对于MMAPV1引擎而言,如果文档大小超过了原来分配的size,那么mongodb将会重新分配一个连续的磁盘空间来保存此文档(废弃以前的文档空间,可以被其他document重用),这也会需要额外消耗一些性能。在mongodb 3.0之后,MMAPV1引擎默认使用了“Power of 2 Size Allocations”以及自动padding,即为每个document分配的size为2的次幂(稍后详解),剩余空间被padding,这可以帮助mongodb高效的重用那些删除文档而产生的空闲空间,以及在很多情况下可以减少了重新分配空间的可能。
毕竟Mongodb是一个存储系统,高效的磁盘对提升性能有极大的帮助,影响存储性能的因素包括:磁盘介质(SSD,HDD)、磁盘缓存、预读以及RAID配置等。
mongodb通过使用一种称为journal的预写日志来保证write操作的可靠性,在数据写入实际的数据文件之前,首先将变更写入journal(journal日志是append操作,性能较高;但对应实际的数据文件是随机写,性能较低,所以对于数据文件的修改通常是批量 + 延迟写入)。在write concern中开启journal选项,这可以保证write操作的持久性,但是会大大降低整体的write吞吐量。我们可以修改mongod的“commitIntervalMs”,即journal日志flush到磁盘的间隔时间,此值越小,flush的频率越高,持久能力越强,即丢失数据的可能越低,但是对磁盘的IO却越大;此值越大,所来带的问题就是当异常crash时,mongodb丢失数据的风险就越高,因为上次一次flush之后的write尚没有被持久写入journal文件,将可能会丢失。这是一个在性能与可靠性之间的权衡。
8、Bulk write
mongodb支持批量write操作,即多个write操作批量发送到mongod,同样mongod不会保证这些操作原子性的执行(事务性),只是提高了IO交互的性能。可以将insert、update、remove、replace等多种类型的write批量提交到mongd。
List<WriteModel<Document>> bulks = new ArrayList<WriteModel<Document>>();
bulks.add(new InsertOneModel<Document>(new Document("name","zhangsan")));
bulks.add(new UpdateOneModel<Document>(new Document("name","lisi"),new Document("modified",new Date())));
collection.withWriteConcern(WriteConcern.MAJORITY).bulkWrite(bulks,new BulkWriteOptions().ordered(false));
Bulk write可以分为ordered或者unordered,通过BulkWriteOptions指定。如果设定了有序性,那么mongod将会依次执行列表中的write操作,如果出错,mongodb将会返回那些尚未执行的操作列表。对于unordered,mongodb则会将它们并行执行,如果出错,也将返回没有执行的操作。由此可见,ordered执行相对较慢,只有其中一个执行成功,才会执行下一个。
五、Document
mongodb中每条document的最大尺寸为16MB,对于超过16MB的数据建议使用Gridfs,一个高效的文件系统。我们稍后再介绍GridFS。
上文中我们已经提到,Document是BSON结构,key-value对,java中实现为LinkedHashMap,mongodb在保存document时,将尽可能保持字段的顺序;但是_id字段总是在第一个位置,插入时如果没有指定_id则由mongodb生成,有些操作可能会影响字段的顺序,比如$rename。
六、其他
Replica set:复制集,mongodb的架构方式之一 ,通常是三个对等的节点构成一个“复制集”集群,有“primary”和secondary等多中角色(稍后详细介绍),其中primary负责读写请求,secondary可以负责读请求,这有配置决定,其中secondary紧跟primary并应用write操作;如果primay失效,则集群进行“多数派”选举,选举出新的primary,即failover机制,即HA架构。复制集解决了单点故障问题,也是mongodb垂直扩展的最小部署单位,当然sharding cluster中每个shard节点也可以使用Replica set提高数据可用性。
Sharding cluster:分片集群,数据水平扩展的手段之一;replica set这种架构的缺点就是“集群数据容量”受限于单个节点的磁盘大小,如果数据量不断增加,对它进行扩容将时非常苦难的事情,所以我们需要采用Sharding模式来解决这个问题。将整个collection的数据将根据sharding key被sharding到多个mongod节点上,即每个节点持有collection的一部分数据,这个集群持有全部数据,原则上sharding可以支撑数TB的数据。
系统配置:1)建议mongodb部署在linux系统上,较高版本,选择合适的底层文件系统(ext4),开启合适的swap空间 2)无论是MMAPV1或者wiredTiger引擎,较大的内存总能带来直接收益。3)对数据存储文件关闭“atime”(文件每次access都会更改这个时间值,表示文件最近被访问的时间),可以提升文件访问效率。 4)ulimit参数调整,这个在基于网络IO或者磁盘IO操作的应用中,通常都会调整,上调系统允许打开的文件个数(ulimit -n 65535)。
转载自:http://shift-alt-ctrl.iteye.com/blog/2243695