MongoDB 文档事物开发最佳实践
连接到 MongoDB
- 连接到复制集
- mongodb://节点1,节点2,节点3…/database?[options]
- 连接到分片集
- mongodb://mongos1,mongos2,mongos3…/database?[options]
常见连接字符串参数
- maxPoolSize
- 连接池大小
- Max Wait Time
- 建议设置,自动杀掉太慢的查询
- Write Concern
- 建议 majority 保证数据安全
- Read Concern
- 对于数据一致性要求高的场景适当使用
连接字符串节点和地址
-
无论对于复制集或分片集,连接字符串中都应尽可能多地提供节点地址,建议全部
列出- 复制集利用这些地址可以更有效地发现集群成员
- 分片集利用这些地址可以更有效地分散负载
-
连接字符串中尽可能使用与复制集内部配置相同的域名或 IP
使用域名连接集群
- 可以为集群变更时提供一层额外的保护
- MongoDB 提供的 mongodb+srv:// 协议可以提供额外一层的保护
- 该协议允许通过域名解析得到所有 mongos 或节点的地址,而不是写在连接字符串中
mongodb+srv://server.example.com/
Record TTL Class Priority Weight Port Target _mongodb._tcp.server.example.com. 86400
IN SRV 0 5 27317 mongodb1.example.com.
_mongodb._tcp.server.example.com. 86400 IN SRV 0 5 27017 mongodb2.example.com.
- Record TTL:该记录的生存时间(Time-To-Live),单位为秒;在这个例子中,记录的生存时间为 86400 秒(即 24 小时)
- Class:记录的类型,通常为 IN(Internet)
- Priority:优先级,用于指定备用服务器的顺序。在这个例子中,优先级为 0,表示这些服务器都具有相同的优先级
- Weight:权重,用于指定备用服务器的比例。在这个例子中,权重为 5,表示这些服务器的比例相同
- Port:服务器的端口号。在这个例子中,服务器的端口号分别为 27317 和 27017
- Target:服务器的主机名。在这个例子中,服务器的主机名分别为 mongodb1.example.com 和 mongodb2.example.com
- _mongodb._tcp.server.example.com.:SRV 记录的名称,格式为 _服务类型._协议.域名。在这个例子中,服务类型为 _mongodb,表示 MongoDB 服务,协议为 _tcp,表示使用 TCP 协议,域名为 server.example.com
不要在 mongos 前面使用负载均衡
-
如果再mongos前边做了负载均衡会出现如下问题:
- 驱动会无法探测具体哪个节点存活,从而无法完成自动故障恢复
- 驱动会无法判断游标是在哪个节点创建的,从而遍历游标时出错
-
不要在 mongos 或复制集上层放置负载均衡器,让驱动处理负载均衡和自动故障恢复
游标使用
- 如果一个游标已经遍历完,则会自动关闭
- 如果没有遍历完,则需要手动调用 close()方法
- 否则该游标将在服务器上存在 10 分钟(默认值)后超时释放,造成不必要的资源浪费
- 如果不能遍历完一个游标,通常意味着查询条件太宽泛,更应该考虑的问题是
如何将条件收紧
关于查询及索引
- 每一个查询都必须要有对应的索引
- 尽量使用覆盖索引 Covered Indexes (可以避免读数据文件)
- 使用 projection 来减少返回到客户端的的文档的内容
关于写入
- update 语句里只包括需要更新的字段
- 尽可能使用批量插入来提升写入性能
- 使用TTL自动过期日志类型的数据
关于文档结构
- 防止使用太长的字段名(浪费空间)
- 防止使用太深的数组嵌套(超过2层操作比较复杂)
- 不使用中文,标点符号等非拉丁字母作为字段名
处理分页问题 – 避免使用 count
- 尽可能不要计算总页数,特别是数据量大和查询条件不能完整命中索引时
//只需要遍历前 n 条,直到找到 50 条队伍 x=100 的文档即可结束
db.coll.find({x: 100}).limit(50);
//需要遍历完 1000w 条找到所有符合要求的文档才能得到结果
db.coll.count({x: 100});
处理分页问题 – 巧分页
- 避免使用skip/limit形式的分页,特别是数据量大的时候
- 替代方案:使用查询条件+唯一排序
第一页:db.posts.find({}).sort({_id: 1}).limit(20);
第二页:db.posts.find({_id: {$gt: <第一页最后一个_id>}}).sort({_id: 1}).limit(20);
第三页:db.posts.find({_id: {$gt: <第二页最后一个_id>}}).sort({_id: 1}).limit(20);
关于事务
- 原则
- 无论何时,事务的使用总是能避免则避免
- 模型设计先于事务,尽可能用模型设计规避事务
- 不要使用过大的事务(尽量控制在 1000 个文档更新以内)
- 当必须使用事务时,尽可能让涉及事务的文档分布在同一个分片上,这
将有效地提高效率