MongoDB单机与集群性能测试对比

一、测试环境:

数据库名称：test

表名称：user

数据结构：{ "_id" : ObjectId("5da041aa097f398cc2ab295f"), "username" : "zhou92001", "password" : "abcd" }

数据总数：800000

客户端并发数：64(多次测试改变此条件)

客户端Mongo 参数 connectionsPerHost：64(多次测试改变此条件)

客户端测试API： 每次操作包含2次查找(根据_id)， 1次更新(根据_id，修改password)(多次测试改变此条件)

MongoDB内存限制：1G

客户端参数配置：

MongoClient client = new MongoClient(addresses, MongoClientOptions.builder()

                                    .connectionsPerHost(64)

                                    .threadsAllowedToBlockForConnectionMultiplier(1)

                                    .connectTimeout(5000)

                                    .maxWaitTime(120000)

                                     .socketKeepAlive(true)

                                     .socketTimeout(0)

                                     .build());

服务器配置：CPU型号:Intel(R) Xeon(R) CPU E3-1230 v5 @ 3.40GHz

                        内存：32G

                        硬盘：1T

二、单机测试

• 单机测试一：

客户端并发数：64

客户端Mongo 参数 connectionsPerHost：64

客户端测试API： 每次操作包含2次查找(根据_id)， 1次更新(根据_id，修改password)

测试结果：

mongostat:

• 单机测试二：

客户端并发数：500

客户端Mongo 参数 connectionsPerHost：500

客户端测试API： 每次操作包含2次查找(根据_id)， 1次更新(根据_id，修改password)

mongostat:

• 单机测试三：

客户端并发数：1000

客户端Mongo 参数 connectionsPerHost：1000

客户端测试API： 每次操作包含2次查找(根据_id)， 1次更新(根据_id，修改password)

 

mongostat:

• 单机测试四：

客户端并发数：64

客户端Mongo 参数 connectionsPerHost：64

客户端测试API： 每次操作包含1次查找(根据_id)

mongostat:

• 单机测试五：

客户端并发数：500

客户端Mongo 参数 connectionsPerHost：500

客户端测试API： 每次操作包含1次查找(根据_id)

mongostat:

三、集群测试

本次集群MongoDB是3台组成集群，每台服务器性能和单机的一样。测试用的客户端启动3个进程同时发送请求。

• 集群测试一：

客户端并发数：每个客户端32

客户端Mongo 参数 connectionsPerHost：64

客户端测试API： 每次操作包含2次查找(根据_id，_id是片键)， 1次更新(根据_id，修改password)

 

mongostat -h localhost:9399 --discover :

• 集群测试二：

客户端并发数：每个客户端64

客户端Mongo 参数 connectionsPerHost：64

客户端测试API： 每次操作包含2次查找(根据_id，_id是片键)， 1次更新(根据_id，修改password)

 

mongostat -h localhost:9399 --discover :

• 集群测试三：

客户端并发数：每个客户端128

客户端Mongo 参数 connectionsPerHost：128

客户端测试API： 每次操作包含2次查找(根据_id，_id是片键)， 1次更新(根据_id，修改password)

 

mongostat -h localhost:9399 --discover :

• 集群测试四：

客户端并发数：每个客户端300

客户端Mongo 参数 connectionsPerHost：500

客户端测试API： 每次操作包含2次查找(根据_id，_id是片键)， 1次更新(根据_id，修改password)

 

mongostat -h localhost:9399 --discover :

• 集群测试五：

客户端并发数：每个客户端64

客户端Mongo 参数 connectionsPerHost：64

客户端测试API： 每次操作包含1次查找(根据_id，_id是片键)

 

mongostat -h localhost:9399 --discover :

• 集群测试六：

客户端并发数：每个客户端128

客户端Mongo 参数 connectionsPerHost：128

客户端测试API： 每次操作包含1次查找(根据_id，_id是片键)

 

mongostat -h localhost:9399 --discover :

四、测试结果对比

客户端测试API： 每次操作包含1次查找(根据_id，集群中_id是片键)

数据库连接数	单机(QPS)	集群(QPS)
64(x3)	13.5 w	4.2 x 3 = 12.6 w
128(x3)		4.2 x 3 = 12.6 w
300(x3)
500(x3)	17.5 w
1000(x3)

   

客户端测试API： 每次操作包含2次查找(根据_id，集群中_id是片键)， 1次更新(根据_id，修改password)

数据库连接数	单机(QPS，API的QPS)	集群(QPS)
32(x3)		1.0 x 3 = 3.0 w
64(x3)	4.5 w	1.4 x 3 = 4.2 w
128(x3)		1.43 x 3 = 4.29 w
300(x3)		1.28 x 3 = 3.84 w
500(x3)	5.6 w
1000(x3)	5.0 w

 

五：总结

• 总结： 单机的时候，连接数在500左右，QPS达到最大。
• 集群的时候，单个客户端连接数在64左右，QPS达到最大。
• 3台集群最大的QPS，还是比单机的最大QPS要小。
• 连接数太大，性能不但不增加，返回会降低。