memcacheq测试报告

MemcacheQ 测试报告

硬件环境:

CPU: Intel(R) Xeon(R) CPU  E5410  @2.33GHz 双核

内存：2G

操作系统: Red Hat EnterpriseLinux Server release 5.3 (Tikanga)

 

启动命令：

memcacheq -d -r -u co_test -p 21201 -H/home/co_test/memcacheq/data -N -v -L 1024 -B 1024 > /home/co_test/memcacheq/logs/mq_error.log2>& 1

 

只set 数据的情况：

字符大小：256字节

数据文件以1.75GB的数据增长

发送前是否清空	发送前是否重启	压测线程数（连接数）	压测每线程操作次数	总用时	平均每秒	load average(MAX)	CPU%(最大值)	内存(稳定值)
否	否	10	100000	263.721	3791.8861	0.57, 0.21, 0.08	15	128756
否	否	10	100000	266.307	3755.0646	0.67, 0.21, 0.08	12.3	129112
否	否	10	100000	262.341	3811.8327	0.39, 0.17, 0.09	32.3	128756
否	是	20	50000	292.535	3418.3944	1.10, 0.40, 0.14	14.3	129132
否	否	20	50000	301.095	3321.2109	0.64, 0.22, 0.11	34.7	129028
否	否	25	40000	286.092	3495.3791	0.48, 0.15, 0.05	15.3	129276
否	否	25	40000	307.965	3247.1222	0.49, 0.18, 0.06	12.3	129276
是	是	40	25000	288.325	3468.3083	0.57, 0.24, 0.09	12.3	129080
否	否	40	25000	309.369	3232.3859	0.62, 0.22, 0.08	51.6	129236
否	否	50	20000	302.399	3306.8892	0.48, 0.14, 0.07	18.7	128416
否	否	50	20000	289.35	3456.0221	0.34, 0.09, 0.03	13.7	129496
否	否	5	200000	273.966	3650.088	0.64, 0.33, 0.12	13.3	129496
否	否	5	200000	274.553	3642.284	0.65, 0.28, 0.11	16	129208
是	是	1	1000000	337.448	2963.4195	0.41, 0.17, 0.20	10	128808
否	否	1	1000000	339.209	2948.035	0.51, 0.20, 0.15	10.3	128928

 

第9次的stats命令结果：

stats

STAT pid 30515

STAT uptime 6782

STAT time 1299387607

STAT version 0.2.0

STAT pointer_size 64

STAT rusage_user 11.552722

STAT rusage_system 14.424901

STAT curr_connections 5

STAT total_connections 87

STAT connection_structures 46

STAT get_cmds 0

STAT get_hits 0

STAT set_cmds 2000000

STAT set_hits 2000000

STAT bytes_read 570000034

STAT bytes_written 16001152

STAT threads 4

END

 

 

只get 数据的情况：

数据文件以100MB-200MB的数据减少

压测线程数（连接数）	压测每线程操作次数	总用时	平均每秒
10	100000	113.727	8792.9867
10	100000	106.166	9419.2114
20	50000	130.378	7670.0057
20	50000	116.046	8617.2725
25	40000	127.295	7855.7681
25	40000	122.529	8161.3332
40	25000	142.626	7011.3444
40	25000	132.994	7519.1362
50	20000	145.906	6853.7277
50	20000	141.735	7055.4203
100	10000	83.735	11942.4375
100	10000	144.978	6897.5983
5	200000	107.44	9307.5205
5	200000	104.144	9602.0894
1	1000000	213	4694.8357

 

第7次的stats的命令结果：

stats

STAT pid 12213

STAT uptime 41695

STAT time 1299379865

STAT version 0.2.0

STAT pointer_size 64

STAT rusage_user 193.500093

STAT rusage_system 119.579473

STAT curr_connections 5

STAT total_connections 250

STAT connection_structures 46

STAT get_cmds 7000000

STAT get_hits 7000000

STAT set_cmds 4000000

STAT set_hits 4000000

STAT bytes_read 1245000718

STAT bytes_written 2062009860

STAT threads 4

END

 

 

Set/get同时的情况：

字符大小：256字节

数据文件以1.5GB左右的数量增长

次数	set压测线程数（连接数）	set压测每线程操作次数	set总用时	set平均每秒	get压测线程数（连接数）	get压测每线程操作次数	get总用时	get平均每秒
1	2	500000	330.398	3026.6527	1	1000000	373.059	2680.5411
2	4	250000	325.536	3071.8569	2	500000	315.817	3166.3907
3	5	200000	379.681	2633.7899	4	250000	331.266	3018.7221
4	8	125000	348.767	2867.2437	5	200000	316.703	3157.5325
5	10	100000	379.064	2638.0769	8	125000	327.748	3051.1246
6	20	50000	349.725	2859.3895	10	100000	327.592	3052.5776
7	25	40000	404.956	2469.4041	20	50000	356.22	2807.2539
8	40	25000	413.067	2420.9148	25	40000	377.16	2651.3946
9	50	20000	450.61	2219.2140	40	25000	401.931	2487.9892
10	80	12500	450.634	2219.0958	50	20000	421.922	2370.1063
11	100	10000	468.383	2135.0049	80	12500	420.243	2379.5756

 

第2次stats结果：

 

stats

STAT pid 20984

STAT uptime 9211

STAT time 1300018069

STAT version 0.2.0

STAT pointer_size 64

STAT rusage_user 17.593099

STAT rusage_system 23.797487

STAT curr_connections 5

STAT total_connections 16

STAT connection_structures 11

STAT get_cmds 2000000

STAT get_hits 2000000

STAT set_cmds 2000000

STAT set_hits 2000000

STAT bytes_read 600000025

STAT bytes_written 596000370

STAT threads 4

END

 

 

结论：

1.      memcacheq采用的是memcached协议，由于需要写文件，所以set效率比不上memcached，get效率也比memcached降低了3-4倍；

2.      memcacheq安装和使用上还是比较简单的，测试过程中也没有出现过服务端挂掉的现象，只是生成的日志文件过大，每100万条256字节的消息要占用近1.75GB的磁盘，测试不了几次就会占满磁盘的10G空间导致客户端程序报错，而此时memcacheq服务依然正常；

3.      get数据并不能减小持久化文件的大小，重启后持久化文件也不会变小，即使所有消息都出队列，持久化文件仍然存在，且占用空间较大，基本上为每100万次256字节的入和出的处理后，会增加1.5-1.6G的持久化数据量;

4.      memcacheq重启过程中不会重建索引文件，所以不会产生重启的效率问题；

5.      在磁盘空间足够大的情况下，memcacheq还是一个比较不错的选择，只是需要定期的手动清空或通过flush的命令进行清空。

6.      Memcacheq的缺点是其资料较少，使用也不太广泛，除了从官网那一个页面有安装和配置的信息和知道其持久化是采用的Berkeley之外，并不能挖掘到更多的信息。