mongodb每秒写入量_Mongodb在亿万级数据量上的性能测试报告

进行了一下Mongodb亿级数据量的性能测试，分别测试如下几个项目：

(所有插入都是单线程进行，所有读取都是多线程进行)

1) 普通插入性能 (插入的数据每条大约在1KB左右)

2) 批量插入性能 (使用的是官方C#客户端的InsertBatch)，这个测的是批量插入性能能有多少提高

3) 安全插入功能 (确保插入成功，使用的是SafeMode.True开关)，这个测的是安全插入性能会差多少

4) 查询一个索引后的数字列，返回10条记录(也就是10KB)的性能，这个测的是索引查询的性能

5) 查询两个索引后的数字列，返回10条记录(每条记录只返回20字节左右的2个小字段)的性能，这个测的是返回小数据量以及多一个查询条件对性能的影响

6) 查询一个索引后的数字列，按照另一个索引的日期字段排序(索引建立的时候是倒序，排序也是倒序)，并且Skip100条记录后返回10条记录的性能，这个测的是Skip和Order对性能的影响

7) 查询100条记录(也就是100KB)的性能(没有排序，没有条件)，这个测的是大数据量的查询结果对性能的影响

8) 统计随着测试的进行，总磁盘占用，索引磁盘占用以及数据磁盘占用的数量

并且每一种测试都使用单进程的Mongodb和同一台服务器开三个Mongodb进程作为Sharding(每一个进程大概只能用7GB左右的内存)两种方案

其实对于Sharding，虽然是一台机器放3个进程，但是在查询的时候每一个并行进程查询部分数据，再有运行于另外一个机器的mongos来汇总数据，理论上来说在某些情况下性能会有点提高

基于以上的种种假设，猜测某些情况性能会下降，某些情况性能会提高，那么来看一下最后的测试结果怎么样？

备注：测试的存储服务器是 E5620  @ 2.40GHz，24GB内存，CentOs操作系统，打压机器是E5504 @ 2.0GHz，4GB内存，Windows Server 2003操作系统，两者千兆网卡直连。

从这个测试可以看出，对于单进程的方式：

1) Mongodb的非安全插入方式，在一开始插入性能是非常高的，但是在达到了两千万条数据之后性能骤减，这个时候恰巧是服务器24G内存基本占满的时候(随着测试的进行mongodb不断占据内存，一直到操作系统的内存全部占满)