TPCC-Mysql 测试

最新推荐文章于 2024-03-24 23:08:34 发布

victoruu

最新推荐文章于 2024-03-24 23:08:34 发布

阅读量361

点赞数

分类专栏： Linux工具参考

Linux工具参考专栏收录该内容

26 篇文章 4 订阅

订阅专栏

TPCC 是什么？
TPCC 是由 TPC（Transaction Processing Performance Council）非盈利组织推出的一套基准测试程序，主要用于OLTP类应用的测试；一些厂家出了一些新的硬件，要有卖点，鼓吹自己性能优秀，那么就需要用数据说话，拿出一些数值做对比，TPCC就是对比标准之一；

TPCC-MYSQL是什么？ TPCC-MYSQL是Percona按照TPCC开发的，基于Mysql的压测工具，该工具模拟电商环境；TPCC-Mysql会模拟搭建一套生产环境，用于下单，支付，查订单，发货，查库存；模拟各个环节，然后获取数据，评估当前的环境的吞吐量

如何部署TPCC？
下载：

https://download.csdn.net/download/lusizeng/5505281

tpcc-mysql-src.tgz

解压： tar -zxvf tpcc-mysql-src.tgz

设置环境变量： PATH=$PATH:/export/servers/mysql/bin

进入tpcc-mysql/src目录下 make编译，成功后会在tpcc-mysql下生成 tpcc_load 和tpcc_start

[root@localhost src]# make
cc -w -O2 -g -I. `mysql_config --include` -c load.c
cc -w -O2 -g -I. `mysql_config --include` -c support.c
cc load.o support.o `mysql_config --libs_r` -lrt -o ../tpcc_load
cc -w -O2 -g -I. `mysql_config --include` -c main.c
cc -w -O2 -g -I. `mysql_config --include` -c spt_proc.c
cc -w -O2 -g -I. `mysql_config --include` -c driver.c
cc -w -O2 -g -I. `mysql_config --include` -c sequence.c
cc -w -O2 -g -I. `mysql_config --include` -c rthist.c
cc -w -O2 -g -I. `mysql_config --include` -c neword.c
cc -w -O2 -g -I. `mysql_config --include` -c payment.c
cc -w -O2 -g -I. `mysql_config --include` -c ordstat.c
cc -w -O2 -g -I. `mysql_config --include` -c delivery.c
cc -w -O2 -g -I. `mysql_config --include` -c slev.c
cc main.o spt_proc.o driver.o support.o sequence.o rthist.o neword.o payment.o ordstat.o delivery.o slev.o `mysql_config --libs_r` -lrt -o ../tpcc_start
[root@localhost tpcc-mysql]# ls
add_fkey_idx.sql count.sql create_table.sql drop_cons.sql load.sh README schema2 scripts src tpcc_load tpcc_start
先建个测试库tpcc, 然后使用自带的脚本建表，加索引：

[root@localhost tpcc-mysql]# mysqladmin -h 192.168.10.10 -P 3358 -utony -ptony --database tpcc < create_table.sql
mysqladmin: [Warning] Using a password on the command line interface can be insecure.
mysqladmin: [ERROR] unknown option '--database'
[root@localhost tpcc-mysql]# mysql -h 192.168.10.10 -P 3358 -utony -ptony tpcc < create_table.sql
mysql: [Warning] Using a password on the command line interface can be insecure.
[root@localhost tpcc-mysql]#
[root@localhost tpcc-mysql]# mysql -h 192.168.10.10 -P 3358 -utony -ptony tpcc < add_fkey_idx.sql
mysql: [Warning] Using a password on the command line interface can be insecure.
[root@localhost tpcc-mysql]# mysql -h 192.168.10.10 -P 3358 -utony -ptony tpcc -e "show tables;"
mysql: [Warning] Using a password on the command line interface can be insecure.
+----------------+
| Tables_in_tpcc |
+----------------+
| customer |
| district |
| history |
| item |
| new_orders |
| order_line |
| orders |
| stock |
| warehouse |
+----------------+
[root@localhost tpcc-mysql]#
建模：./tpcc_load 192.168.10.13:3358 apple tony tony 10

报错，缺少库文件libmysqlclient.so.20，先查找该文件，然后连接到系统库/usr/local/lib下，然后路径给到/etc/ld.so.conf；最后更新即可

[root@localhost tpcc-mysql]# ./tpcc_load 192.168.10.13:3358 apple tony tony 10
./tpcc_load: error while loading shared libraries: libmysqlclient.so.20: cannot open shared object file: No such file or directory
[root@localhost tpcc-mysql]# find / -name libmysqlclient.so.20
/export/servers/mysql/lib/libmysqlclient.so.20
/tmp/mysql-5.7.19-linux-glibc2.12-x86_64bak/lib/libmysqlclient.so.20
[root@localhost tpcc-mysql]# ln -s /export/servers/mysql/lib/libmysqlclient.so.20 /usr/local/lib
[root@localhost tpcc-mysql]# cat /etc/ld.so.conf
include ld.so.conf.d/*.conf
[root@localhost tpcc-mysql]# echo "/usr/local/lib" >> /etc/ld.so.conf
[root@localhost tpcc-mysql]# cat /etc/ld.so.conf
include ld.so.conf.d/*.conf
/usr/local/lib
[root@localhost tpcc-mysql]# /sbin/ldconfig -v
加载数据： ./tpcc_load 192.168.10.10:3358 tpcc tony tony 10 | tee output.log 要多等会儿，比较花费时间；

参数含义：连接192.168.10.10地址3358端口tpcc库账号tony,密码tony建10个仓库

customer表，对应客户，新建了30W条数据

district 表，对应地区，100个地区

history表，对应历史订单，

item：对应商品，有10W个商品条目

new_orders: 新订单，9W

order_line：订单状态300W

orders：下单30W

stock：查看库存状态100W

warehouse：仓库，即电商仓库数量10个；电商测试，建议根据实际情况修改仓库数量，一般不少于100个；

TPCC测试：
Usage: tpcc_start -h server_host -P port -d database_name -u mysql_user -p mysql_password -w warehouses -c connections -r warmup_time -l running_time -i report_interval -f report_file -t trx_file

./tpcc_start -h localhost -P 3358 -d tpcc -u tony -p tony -w 10 -c 30 -r 120 -l 120 -i 10 >> mysql_tpcc_20180801.log

查看当前QPS：

每秒获取QPS方法：

/export/servers/mysql/bin/mysqladmin -h 192.168.10.15 extended-status -utony -ptony -i 1 | grep "Question"

结果解读

***************************************
*** ###easy### TPC-C Load Generator ***
***************************************
option P with value '3358' #运行tpcc_start时，带的参数
option d with value 'tpcc'
option u with value 'tony'
option p with value 'tony'
option w with value '10'
option c with value '30'
option r with value '120'
option l with value '120'
option i with value '10'
<Parameters> #实际使用的参数
[server]:
[port]: 3358 #端口
[DBname]: tpcc #库名
[user]: tony #mysql用户名
[pass]: tony #mysql密码
[warehouse]: 10 #仓库数量
[connection]: 30 #并发连接数
[rampup]: 120 (sec.) #预热时间，将数据写入到buffer_pool中
[measure]: 120 (sec.) #压测时长

RAMP-UP TIME.(120 sec.) #预热结束
MEASURING START.

10, 854(0):3.027|16.648, 859(0):0.965|9.486, 85(0):0.815|4.159, 85(0):4.097|13.359, 88(0):7.312|17.208
20, 844(1):1.718|5.140, 841(0):0.537|2.111, 85(0):0.468|0.562, 86(0):2.108|4.613, 82(0):4.764|5.047
30, 871(0):1.883|3.178, 870(0):0.509|3.244, 86(0):0.513|0.555, 84(0):2.200|2.215, 88(0):4.333|5.197
40, 844(0):2.197|4.243, 843(1):0.723|7.183, 86(1):0.687|5.731, 86(0):3.100|4.250, 83(0):5.481|6.318
50, 810(0):1.890|4.087, 799(0):0.702|2.816, 80(0):0.355|0.365, 82(0):2.441|2.759, 83(0):4.778|5.189
60, 802(0):2.139|3.964, 814(0):0.723|1.912, 81(0):0.697|0.815, 79(0):3.570|3.681, 79(0):4.690|5.785
70, 816(0):2.124|3.338, 811(0):0.604|1.152, 80(0):0.325|0.329, 81(0):2.248|3.083, 83(0):4.406|4.468
80, 831(0):1.937|3.364, 839(0):0.929|2.183, 85(0):0.535|0.607, 84(0):2.339|3.018, 82(0):4.506|4.552
90, 840(1):1.938|8.171, 838(0):0.643|1.403, 83(0):0.462|0.530, 83(0):2.178|2.370, 85(0):4.613|5.311
100, 755(0):2.247|3.770, 748(1):0.816|14.088, 76(0):0.449|1.147, 76(0):3.005|4.870, 74(0):5.476|6.505
110, 728(3):2.723|9.704, 735(0):0.911|2.240, 73(0):0.523|0.643, 73(0):3.778|5.682, 73(0):7.149|8.039
120, 762(3):3.312|18.949, 763(0):0.705|1.886, 75(0):0.342|0.346, 76(0):3.293|3.872, 78(0):6.436|6.860

STOPPING THREADS..............................
以第一行为例：

10, 854(0):3.027|16.648, 859(0):0.965|9.486, 85(0):0.815|4.159, 85(0):4.097|13.359, 88(0):7.312|17.208

10，第一个10秒；因为我运行的时候-l 120s，所以输出了12行，每行10s

创建订单：共计854次，失败（0）次，其中90%的订单创建花费3.027s，最长一个订单创建花费16.648s

订单支付：共计支付859个订单，失败0， 90%的支付花费0.965s，最长花费9.486s，

查询订单：共查询85次，查询失败0次，90%的查询订单0.815s，最长查询4.159s

发货：共发货85次，失败0次，90%的订单发货花费4.097s，最长发货时间: 13.359s

查询库存：共查询88次，失败0次，90%的查询库存花费7.312s,最长查询库存17.208s

<Raw Results> --第一次统计结果
[0] sc:9749 lt:8 rt:0 fl:0
--新建订单 success成功9749，later操作延时0，retry重试0， failure操作失败0
[1] sc:9758 lt:2 rt:0 fl:0
--支付，成功9758，延时，2，重试0，失败0,
[2] sc:974 lt:1 rt:0 fl:0
--查询订单，同上
[3] sc:975 lt:0 rt:0 fl:0
--发货
[4] sc:978 lt:0 rt:0 fl:0
--查询库存，同上
in 120 sec.

<Raw Results2(sum ver.)> --第二次统计结果
[0] sc:9749 lt:8 rt:0 fl:0
[1] sc:9758 lt:2 rt:0 fl:0
[2] sc:974 lt:1 rt:0 fl:0
[3] sc:975 lt:0 rt:0 fl:0
[4] sc:978 lt:0 rt:0 fl:0

<Constraint Check> (all must be [OK]) --测试结果，下面所有结果都必须是OK
[transaction percentage] --事物比例
Payment: 43.48% (>=43.0%) [OK] --支付，43.48%，（参考考标准>=43.0%） OK
Order-Status: 4.34% (>= 4.0%) [OK] --订单状态
Delivery: 4.34% (>= 4.0%) [OK] --发货
Stock-Level: 4.36% (>= 4.0%) [OK] --查库存
[response time (at least 90% passed)] --响应时间，必须超过90%才算通过
New-Order: 99.92% [OK] --创建订单
Payment: 99.98% [OK] --支付
Order-Status: 99.90% [OK] --查询状态
Delivery: 100.00% [OK] --发货
Stock-Level: 100.00% [OK] --查库存

<TpmC>
4878.500 TpmC
--Tpmc，transactions per minute ，每分钟处理订单个数的能力，需要注意的是，这个参数不仅仅是其他什么不跑，尽在那里处理新订单了，而是同时也会在进行订单查询，查库存等操作；
tpmC值在国内外被广泛用于衡量计算机系统的事务处理能力，已经是公众认可的标准
计算方法是，12次新订单总数除以分钟数；即：（854+844+871+844+810+802+816+831+840+755+728+762）/2=4878 生产系统要跑一个相对较长的时间得到一个准确的值
生成图片：
[root@localhost tpcc-mysql]# cat tpcc-output-analyze.sh
# vim tpcc-output-analyze.sh
#!/bin/sh
TIMESLOT=1
if [ -n "$2" ]
then
TIMESLOT=$2
fi
cat $1 | grep -v HY000 | grep -v payment | grep -v neword | awk -v timeslot=$TIMESLOT 'BEGIN { FS="[,():]"; s=0; cntr=0; aggr=0 } /MEASURING START/ { s=1} /STOPPING THREADS/ {s=0} /0/ { if (s==1) { cntr++; aggr+=$2; } if ( cntr==timeslot ) { printf ("%d %3d\n",$1,(aggr/timeslot)) ; cntr=0; aggr=0 } }'
[root@localhost tpcc-mysql]#
[root@localhost tpcc-mysql]# sh tpcc-output-analyze.sh mysql_tpcc_20180801.log > tpcc-graphic-data.txt
[root@localhost tpcc-mysql]# cat tpcc-graphic-data.txt
10 854
20 844
30 871
40 844
50 810
60 802
70 816
80 831
90 840
100 755
110 728
120 762
[root@localhost tpcc-mysql]#
安装绘图工具：

yum install gnuplot

设置环境变量

export GDFONTPATH=/usr/share/fonts/dejavu
export GNUPLOT_DEFAULT_GDFONT=DejaVuSansMono
source ~/.bashrc

设置绘图配置文件，开始绘图：

[root@localhost tpcc-mysql]# cat log.conf
set terminal gif small size 480,360 #指定输出成gif图片，且图片大小为550×25
set output "tcpp.gif" #指定输出gif图片的文件名
set title "MySQL Performance" #图片标题
set style data lines #显示网格
set xlabel "Time/s" #X轴标题
set ylabel "Data" #Y轴标题
set grid #显示网格
plot \
"tpcc-graphic-data.txt" using 1:2 title "Total throughput" with lines
[root@localhost tpcc-mysql]# cat log.conf | gnuplot
[root@localhost tpcc-mysql]# ls
512m-tpcc-data.data count.sql drop_cons.sql log.conf README scripts tcpp.gif tpcc-graphic-data.txt tpcc-output-analyze.sh tpcc_start
add_fkey_idx.sql create_table.sql load.sh mysql_tpcc_20180801.log schema2 src tpcc_analyze.sh tpcc_load tpcc_report.res
[root@localhost tpcc-mysql]#

看到生成了tcpp.gif图片，把导出来打开；测试的时候可以跑几个小时，这样可以看得明显一些；

把仓库数改为5，时间延长一些3600s，得出的结果图：

转载至https://blog.csdn.net/jswangchang/article/details/81317741

victoruu

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
TPCC-Mysql 测试

TPCC是什么？TPCC 是由 TPC（Transaction Processing Performance Council）非盈利组织推出的一套基准测试程序，主要用于OLTP类应用的测试；一些厂家出了一些新的硬件，要有卖点，鼓吹自己性能优秀，那么就需要用数据说话，拿出一些数值做对比，TPCC就是对比标准之一；TPCC-MYSQL是什么？TPCC-MYSQL是P...
复制链接

扫一扫