一、sysbench简介
1、sysbench简介
sysBench是一个模块化的、跨平台、多线程基准测试工具,主要用于评估测试各种不同系统参数下的数据库负载情况。sysbench提供如下测试:
(1)CPU性能
(2)磁盘IO性能
(3)调度程序性能
(4)内存分配及传输速度
(5)POSIX线程性能
(6)数据库性能(OLTP基准测试)
sysbench支持 MySQL、PostgreSQL、Oracle 数据库。
2、sysbench安装
Build构建依赖安装:
yum -y install make automake libtool pkgconfig libaio-devel
yum -y install mariadb-devel openssl-devel
yum -y install postgresql-devel
源码下载:
git clone https://github.com/akopytov/sysbench.git
生成配置工具:
autogen.sh
配置选项:
--with-pgsql:支持PostgreSQL
--with-oracle:支持Oracle
--without-mysql:无MySQL支持
configure [options]
编译:
make -j
安装:
make install
3、sysbench命令
sysbench [options]... [testname] [command]
testname是sysbench要执行的测试类型,可选项包括fileio、cpu、memory、threads、mutex,可以使用--test参数指定。
command是sysbench要执行的命令,包括prepare、run、cleanup,prepare为测试准备数据,run执行正式测试,cleanup在测试完成后对数据库进行清理。
sysbench通用参数选项如下:
--threads: 线程数,若设置为2,则sysbench会启动2个线程,同时分别进行素数的计算,默认值为1。
--time: 运行时长,单位秒。若设置为5,则sysbench会在5秒内循环进行素数计算,每完成一轮就是一个event,默认值为10。
--events: event上限次数,若设置为100,则表示当完成100次event后,即使时间富余也停止运行。默认值为0,则表示不限event次数。
--forced-shutdown=STRING:超时强制中断,默认为off。 --thread-stack-size=SIZE:线程栈大小,默认64K
--thread-init-timeout=N:线程初始化等待时间,默认为30秒
--rate=N:平均事务率,0表示不限制,默认为0。
--report-interval=N:测试进度报告输出的时间间隔,0表示关闭,默认为0。
--report-checkpoints=[LIST,...]:转储完全统计信息并在指定时间点复位所有计数器,参数是逗号分隔值的列表,表示从必须执行报告检查点的测试开始所经过的时间(以秒为单位)。 默认情况下,报告检查点处于关闭状态[off]。
--debug[=on|off]:打印调试信息,默认为off
--validate[=on|off]:尽可能执行验证检查,默认为off。
--help[=on|off]:打印help信息并退出,默认为off
--version[=on|off]:打印版本信息并退出,默认为off
--config-file=FILENAME:命令行选项文件
--luajit-cmd=STRING:执行LuaJIT控制命令
二、CPU性能基准测试
1、命令选项
sysbench --test=cpu help
--cpu-max-prime:素数生成数量的上限,若设置为3,则表示2、3、5(要计算1-5共5次),默认值为10000。
2、CPU性能测试
sysbench cpu --cpu-max-prime=20000 --threads=8 --time=30 run
Prime numbers limit: 20000,每个线程产生的素数上限均为2000
events per second: 650.7,所有线程每秒完成了650.74次event
total time: 10.0017s,共耗时10秒
total number of events: 6510,10秒内所有线程一共完成了6510次event
min: 3.03,完成1次event的最少耗时3.03秒
avg: 3.07,所有event的平均耗时3.07毫秒
max: 3.27,完成1次event的最多耗时3.27毫秒
95th percentile: 3.13, 95%次event在3.13秒毫秒内完成
sum: 19999.91,每个线程耗时10秒,2个线程叠加耗时就是20秒
events (avg/stddev): 3255.0000/44.00 // 平均每个线程完成3255次event,标准差为44
execution time (avg/stddev): 10.0000/0.00 // 每个线程平均耗时10秒,标准差为0
三、内存负载测试
1、命令选项
sysbench --test=memory help
--memory-block-size=SIZE:测试内存块的大小,默认为1K。
--memory-total-size=SIZE:数据传输的总大小,默认为100G。
--memory-scope=STRING:内存访问的范围,包括全局和本地范围,默认为global。
--memory-hugetlb=[on|off]:是否从HugeTLB池分配内存的开关,默认为off。
--memory-oper=STRING:内存操作的类型,包括read, write, none,默认为write
--memory-access-mode=STRING:内存访问模式,包括seq,rnd两种模式,默认为seq。
2、内存负载测试
sysbench memory --threads=12 --memory-block-size=8K --memory-total-size=100G --memory-access-mode=seq run
开启12个线程,内存块大小为8K,顺序读写
sysbench memory --threads=12 --memory-block-size=8K --memory-total-size=100G --memory-access-mode=rnd run
四、磁盘IO性能基准测试
1、命令选项
sysbench --test=fileio help
--file-num=N:生成测试文件的数量,默认为128。
--file-block-size=N:测试时所使用文件块的大小,如果想磁盘针对innodb存储引擎进行测试,可以将其设置为16384(innodb存储引擎页的大小),默认为16384。
--file-total-size=SIZE:创建测试文件的总大小,默认为2G大小。
--file-test-mode=STRING:文件测试模式,seqwr(顺序写)、seqrewr(顺序读写)、seqrd(顺序读)、rndrd(随机读)、rndwr(随机写)、rndrw(随机读写)。
--file-io-mode=STRING:文件操作模式,sync(同步)、async(异步)、fastmmap(快速mmap)、slowmmap(慢速mmap),默认为sync。
--file-async-backlog=N:对应每个线程队列的异步操作数,默认为128。
--file-extra-flags=STRING:打开文件时的选项,与API相关的参数。
--file-fsync-freq=N:执行fsync函数的频率。fsync主要是同步磁盘文件,0代表不使用fsync函数,默认值为100。
--file-fsync-all=[on|off]:每执行完一次写操作,就执行一次fsync。默认为off。
--file-fsync-end=[on|off]:测试结束时执行fsync函数,默认为on。
--file-fsync-mode=STRING:文件同步函数选择,和API相关的参数,由于多个操作系统对于fdatasync支持不同,因此不建议使用fdatasync,默认为fsync。
--file-merged-requests=N:大多情况下,合并可能的IO的请求数,默认为0。
--file-rw-ratio=N:测试时的读写比例,默认时为1.5,即可3:2。
2、数据准备
sysbench fileio --file-num=16 --file-total-size=2G prepare
3、执行测试
sysbench fileio --file-total-size=2G --file-test-mode=rndrd --time=180 --threads=16 --file-num=16 --file-extra-flags=direct --file-fsync-freq=0 --file-block-size=16384 run
4、清理数据
sysbench fileio --file-num=16 --file-total-size=2G cleanup
清理测试数据
五、多线程调度基准测试
1、命令选项
sysbench --test=mutex help
--mutex-num=N:数组互斥的总大小,默认为4096。
--mutex-locks=N:每个线程互斥锁的数量,默认为50000。
--mutex-loops=N:内部互斥锁的空循环数量,默认为10000。
2、多线程调度测试
sysbench mutex --threads=8 --mutex-num=2000 --mutex-locks=10000 --mutex-loops=5000 run
六、POST多线程基准测试
1、命令选项
sysbench --test=threads help
--thread-yields=N:指定每个请求的压力,默认为1000
--thread-locks=N:指定每个线程的锁数量,默认为8
2、多线程测试
sysbench threads --threads=8 --thread-yields=100 --thread-locks=2 run
七、OLTP基准测试
1、命令选项
sysbench --test=oltp help
--oltp-test-mode=STRING:测试模式,simple、complex、nontrx、sp,默认为complex。
--oltp-reconnect-mode=STRING:重连接模式,session不使用重连接,transaction在每次事务结束后重连接,query在每个SQL语句执行完重连接,random对于每个事务随机选择重连接模式,默认为session。
--oltp-sp-name=STRING:存储过程名称,默认为空
--oltp-read-only=[on|off]:只读模式。Update、delete、insert语句不可执行,默认为off
--oltp-skip-trx=[on|off]:省略begin/commit语句,默认为off。
--oltp-range-size=N:查询范围,默认为100。--oltp-point-selects=N:number of point selects [10]
--oltp-simple-ranges=N number of simple ranges [1]
--oltp-sum-ranges=N number of sum ranges [1]
--oltp-order-ranges=N number of ordered ranges [1]
--oltp-distinct-ranges=N number of distinct ranges [1]
--oltp-index-updates=N number of index update [1]
--oltp-non-index-updates=N number of non-index updates [1]
--oltp-nontrx-mode=STRING 查询类型对于非事务执行模式{select, update_key, update_nokey, insert, delete} [select]
--oltp-auto-inc=[on|off] AUTO_INCREMENT是否开启。默认是on
--oltp-connect-delay=N 在多少微秒后连接数据库。默认是10000
--oltp-user-delay-min=N 每个请求最短等待时间。单位是ms。默认是0
--oltp-user-delay-max=N 每个请求最长等待时间。单位是ms。默认是0
--oltp-table-name=STRING 测试时使用到的表名。默认是sbtest
--oltp-table-size=N 测试表的记录数。默认是10000
--oltp-dist-type=STRING 分布的随机数{uniform(均匀分布),Gaussian(高斯分布),special(空间分布)}。默认是special
--oltp-dist-iter=N 产生数的迭代次数。默认是12
--oltp-dist-pct=N 值的百分比被视为'special' (for special distribution)。默认是1
--oltp-dist-res=N ‘special’的百分比值。默认是75
2、Lua脚本
/usr/share/sysbench/bulk_insert.lua
/usr/share/sysbench/oltp_common.lua
/usr/share/sysbench/oltp_delete.lua
/usr/share/sysbench/oltp_insert.lua
/usr/share/sysbench/oltp_point_select.lua
/usr/share/sysbench/oltp_read_only.lua
/usr/share/sysbench/oltp_read_write.lua
/usr/share/sysbench/oltp_update_index.lua
/usr/share/sysbench/oltp_update_non_index.lua
/usr/share/sysbench/oltp_write_only.lua
/usr/share/sysbench/select_random_points.lua
/usr/share/sysbench/select_random_ranges.lua
3、准备数据
sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 prepare
执行模式为complex,使用了10个表,每个表有10万条数据,客户端的并发线程数为10,执行时间为120秒,每10秒生成一次报告。
4、执行测试
sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 run >> /home/test/mysysbench.log
5、清理数据
sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.10.10 --mysql-port=3306 --mysql-user=root --mysql-password=123456 cleanup