Twemperf又名mcperf，是一款memcached的性能测试工具。Mcperf就像httperf，但它基于memcached的协议，它使用memcached的ASCII协议并且能够快速的产生大量memcached连接和请求。该工具主要用于memcached性能测试，模拟大并发set、get等的操作，mcperf只能运行在unix/linux环境下。
一、下载
Twemperf对应的github下载地址：https://github.com/twitter/twemperf
二、安装
下载后，传到任意一台服务器上（注：只能在linux上运行）解压安装。
tar zxvf mcperf-0.1.1.tar.gz
cd mcperf-0.1.1
sudo autoreconf -fvi //然后就生成configure文件啦。。。。
CFLAGS="-ggdb3 -O0" ./configure --enable-debug
sudo make
sudo make install
三、运行
1、首先运行memcached（默认端口是11211，若运行memcached的时候自己指定了端口号，下面执行Twemperf工具命令时注意相应的指定IP和端口，因为Twemperf工具默认是11211端口哦）。
./memcached -d -m 256 -l 10.142.90.152 -u root -p 8718 -vv
参数名称 作用
-d 以守护进程方式启动。如果该参数没有指定，当按ctrl+c命令结束，memcache自动关闭
-m 分配给memcache使用的最大内存数 单位是m，默认是64m
-u 指定运行memcache的用户
-l: 指定监听的ip地址
-p 指定监听的tcp端口号，可以通过-u指定udp端口.默认是11211
-c 最大并发连接数 默认是1024（注意：所以启动memcached的时候不进行设置可能导致用twemperf工具测试时设置连接数过大导致工具崩溃哦。。。）
-P 报错进程id的文件
-p, --port=<num> TCP port to listen on (default: 11211)
-U, --udp-port=<num> UDP port to listen on (default: 0, off)
-s, --unix-socket=<file> UNIX socket to listen on (disables network support)
-A, --enable-shutdown enable ascii "shutdown" command
-a, --unix-mask=<mask> access mask for UNIX socket, in octal (default: 0700)
-l, --listen=<addr> interface to listen on (default: INADDR_ANY)
-d, --daemon run as a daemon
-r, --enable-coredumps maximize core file limit
-u, --user=<user> assume identity of <username> (only when run as root)
-m, --memory-limit=<num> item memory in megabytes (default: 64 MB)
-M, --disable-evictions return error on memory exhausted instead of evicting
-c, --conn-limit=<num> max simultaneous connections (default: 1024)
-k, --lock-memory lock down all paged memory
-v, --verbose verbose (print errors/warnings while in event loop)
-vv very verbose (also print client commands/responses)
-vvv extremely verbose (internal state transitions)
-h, --help print this help and exit
-i, --license print memcached and libevent license
-V, --version print version and exit
-P, --pidfile=<file> save PID in <file>, only used with -d option
-f, --slab-growth-factor=<num> chunk size growth factor (default: 1.25)
-n, --slab-min-size=<bytes> min space used for key+value+flags (default: 48)
-L, --enable-largepages try to use large memory pages (if available)
-D <char> Use <char> as the delimiter between key prefixes and IDs.
This is used for per-prefix stats reporting. The default is
":" (colon). If this option is specified, stats collection
is turned on automatically; if not, then it may be turned on
by sending the "stats detail on" command to the server.
-t, --threads=<num> number of threads to use (default: 4)
-R, --max-reqs-per-event maximum number of requests per event, limits the
requests processed per connection to prevent
starvation (default: 20)
-C, --disable-cas disable use of CAS
-b, --listen-backlog=<num> set the backlog queue limit (default: 1024)
-B, --protocol=<name> protocol - one of ascii, binary, or auto (default)
-I, --max-item-size=<num> adjusts max item size
(default: 1mb, min: 1k, max: 128m)
-F, --disable-flush-all disable flush_all command
-X, --disable-dumping disable stats cachedump and lru_crawler metadump
-o, --extended comma separated list of extended options
most options have a 'no_' prefix to disable
2、twemperf工具使用说明
安装完成后在$twemperf/src下面有mcperf命令，使用参数如下说明：
其中文解释大致如下：
Options:
-h, –help : 显示帮助
-V, –version : 显示版本
-v, –verbosity=N : 设置日志级别（默认为5，最小0，最大11）
-o, –output=S : 设置日志文件（默认输出标准错误）
-s, –server=S : 设置需要测试的服务器（默认是本机）
-p, –port=N : 设置需要测试的端口（默认是11211）
-H, –print-histogram :打印响应时间的柱状图
…
-t, –timeout=X : 设置链接和响应的超时时间（默认是0秒）
-l, –linger=N : 设置TCP连接的断开时间（默认不开启）
-b, –send-buffer=N : 设置socket发送缓冲区大小（默认是4096字节）
-B, –recv-buffer=N : 设置socket接收缓冲区大小（默认是16384字节）
-D, –disable-nodelay : 取消TCP延迟
…
-m, –method=M : memcached的一些基本操作（例如set、get、add、delete等，默认是set）
-e, –expiry=N : set the expiry value in sec for generated requests (default: 0 sec)
-q, –use-noreply : set noreply for generated requests
-P, –prefix=S : set the prefix of generated keys (default: mcp:)
…
-c, –client=I/N : set mcperf instance to be I out of total N instances (default: 0/1)
-n, –num-conns=N :设置连接数（默认是1）
-N, –num-calls=N : 设置每一个连接发送的请求数（默认是1）
-r, –conn-rate=R : 设置每秒建立多少个连接（默认是每秒0个连接，每一个连接在上一个连接断开后创建）
-R, –call-rate=R : 设置每秒发送的请求数（默认是每秒0个请求，每一个请求在上一个请求响应后发送）
-z, –sizes=R : 发送存储数据的大小（默认是1个字节）
3、用法示例
官网示例一：创建1000个并发连接，来连接本机的11211端口（此端口是该工具的默认端口），连接创建的速度是每秒1000个，每一个连接发送“set”请求10次（相当于迭代10次），这10次请求在每秒1000的请求的速度下发送，发送的数据大小在（也就是存入到memcached中的value的大小）1~16个字节中正态分布。
命令为：mcperf --linger=0 --timeout=5 --conn-rate=1000 --call-rate=1000 --num-calls=10 --num-conns=1000 --sizes=u1,16
官网示例二：创建100个连接，来连接本机的11211端口，每一个连接在上一个连接断开后创建，每一个连接发送100个“set”请求，每一个请求是在收到上一个请求的响应之后创建，发送的数据大小是1个字节。
命令为：mcperf --linger=0 --call-rate=0 --num-calls=100 --conn-rate=0 --num-conns=100 --sizes=d1
(IP和端口若需要变则通过以下参数设置 --server=10.142.90.152 --port=8718)
示例三：
src/mcperf -s 10.142.90.152 -p 8718 --linger=0 --timeout=5 --conn-rate=1000 --call-rate=1000 --num-calls=10000 --num-conns=100 --sizes=u1024,10240
(--num-conns=100是并发建立100个连接；--num-calls=10000是在一个连接上发1w个请求；--sizes是数据大小在1k和10k之间称正态分布；-conn-rate=1000是1秒钟建立1000个连接)
示例四：
mcperf --linger=0 --timeout=5 --conn-rate=1000 --call-rate=1000 --num-calls=10 --num-conns=1000 --sizes=u1,16 --server=10.142.90.152 --port=8718 --method=set
结果字段解释
Total：显示总的连接数，总的请求数，总的响应数以及测试所花费的时间。
Connection rate：实际每秒的连接数
Connection time：实际每个连接花费的时间（包括连接时间，set时间等）
Connect time：连接所花费的时间（仅仅是连接所用的时间）
Request rate：每秒的请求数
Request size：每个请求的字节大小
Response rate：每秒的响应数
Response size：响应的字节大小
Response time：响应的时间（单位毫秒）
Response type：stored表示存储的数量，not_stored表示没有存储的数量，exists表示已经存在的数量，not_found表示没有找到的数量
再后面的参数没有较大意义，故此不解释。
示例五：测试的脚本(主要是控制call-rate和num-calls两个参数值来对应不同并发)：
#!/bin/bash # 1M=1048576B data_size=(d100 d102400 d307200 d512000 d1048500) data_size_readable=(100B 100K 300K 500K 1M) memory_size=(256 512 1024 2048 5120) # call_data=(200 300 500 800 1000) call_data=(10 30 50 80 100 200) # call_data=(10 30 50 80 100 200 300 500 800 1000) # call_data=(2000 3000 5000 8000 10000) #./memcached -d -m 256 -l 10.xx.xx.152 -u root -p 8718 -vv for((i=0;i<5;i++));do for((j=0;j<6;j++));do echo "****************method=set conns=100 data_size=${data_size_readable[i]} call-rate=${call_data[j]} num-calls=${call_data[j]}****************"; ./../src/mcperf --linger=0 --timeout=5000 --conn-rate=100 --call-rate=${call_data[j]} --num-calls=${call_data[j]} --num-conns=100 --sizes=${data_size[i]} --server=10.xxx.xx.152 --port=8718 --method=set if [ ${j} -ge 1 ]; then sleep 1m fi if [ $? -ne 0 ]; then echo "***************************failed***************************" fi done; done;
四、结论
通过上面的介绍，可以看出，用mcperf测试memcache的方法就是调整不同的参数值来执行命令，经过多次采样后得出结果。
一般重点关注Total、Connection rate、Request rate、Response rate、Response time、Response type、Net I/O这几个指标。
通过多次测试采样，得到以上需要的数据之后可以用excel表格做出一个统计效果来观看。
五、实际测试结果示例
使用mcperf对memcached进行测试，对于平台架构部署以及客户端代码的优化有着重要意义。下面是网上一篇博客文章中使用mcperf对memcached进行性能测试所得的简要结果报告。
测试环境： 操作系统：centos-5.5-x86_64 内存：1G CPU：1核
结论一：
由以下图表可见，存储的数据越大，则随着并发数的上升memcached处理请求的速度下降越明显。因此，存储数据不宜过大，如果确实要存储较大数据，建议拆分成两个或多个key存储。
图1 单机部署，每线程迭代10000次，发送数据100字
图2 单机部署，每线程迭代10000次，发送数据1024字节
图3 集群部署，每线程迭代10000次，发送数据100字节
图4 集群部署，每线程迭代10000次，发送数据1024字节
结论二：
由以上图标显示，用户并发请求情况下，memcached集群部署能够提升请求效率，并且并发用户数越大，集群部署提升的性能越明显（平均耗时小，吞吐量大）。
图略。。。
结论三：
Memcached中key（键）最大允许250个英文字符或27个中文字，超过这些最大值，则数据无法存储。另外，官方文档指出，value（值）最大允许存储1M的数据，超过1M的数据无法存储（不会存储）。因此
建议，key不宜太大，value也不宜过大，如果value超过1M，建议存储到两个或多个key中。
结论四：
Memcached内存存储满数据之后，之后再存储的数据不会再消耗内存，最老的数据会被删除（LRU算法），memcached启动参数默认是开启LRU（近期最少使用算法）的。如果启动参数加上-M则不开启LRU算
法，此时如果内存已满再存放数据则会报错。 由上面的图标可得，当存放的数据大小变化不是很大时，尽量将growth_factor（增长因子）的值设小（最小为1，但是不能是1，默认为1.25），此参数在
memcached启动时指定：-f 1.25。该参数的设置根据存储数据大小决定。根据实际测试几百字节（<1K以内）的数据建议将此参数设置为1.2（而非默认的1.25），将明显提升memcached的内存使用率。
结论五：
两台服务器同时运行性能测试 每台5000并发，写入速度每秒10次，导致memcached服务器网卡瘫痪，待服务器自动恢复后，memcached进程崩溃。 每台1800并发，写入速度每秒10次，数据无法写入
memcached，运行一段时间后，出现大量阻塞进程，内存飙升，网络流量激增，最后网卡瘫痪 每台1500并发，写入速度每秒10次，数据写入OK，但系统资源占用严重 网卡瘫痪的原因是数据写入太大，net
I/O负担过重导致瘫痪，memcached进程崩溃原因尚不明确。因此建议并发量不宜超过3000。
结论六：
由上图可知，并发量在100左右时，存（set）和取（get）数据速度最快，速度大约在13000req/s。
结论七（memcached的BUG？）：
图中所示，memcached实际存储的数据量超过memcached设定的内存大小（开启或关闭LRU的情况下都存在此问题）。此BUG必现步骤：
1、 将memcached内存大小设置为4M（或其他较小数值）
2、 重启memcached
3、 使用java客户端运行测试，执行set操作，每次存储数据大小10K
4、 待memcached无法再存数据后，停止测试，将存储数据大小改为1K，然后继续执行set操作
5、 运行几秒后此问题可必现
参考网址：
https://my.oschina.net/u/561917/blog/908414
http://blog.51cto.com/332532/1897359
https://yq.aliyun.com/articles/489374?spm=5176.10695662.1996646101.searchclickresult.3df5402f4HMIm0
980
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
