数据库压力测试方法小结

一、前言

在前面的压力测试过程中，主要关注的是对接口以及服务器硬件性能进行压力测试，评估请求接口和硬件性能对服务的影响。但是对于多数Web应用来说，整个系统的瓶颈在于数据库。

原因很简单：Web应用中的其他因素，例如网络带宽、负载均衡节点、应用服务器（包括CPU、内存、硬盘、连接数等）、缓存，都很容易通过水平的扩展（俗称加机器）来实现性能的提高。而对于MySQL，由于数据一致性的要求，无法通过增加机器来分散向数据库写数据带来的压力；虽然可以通过前置缓存（Redis等）、读写分离、分库分表来减轻压力，但是与系统其它组件的水平扩展相比，受到了太多的限制。

二、常见的数据库压测指标

与接口压测指标类似，数据库相关指标如下：

TPS/QPS：衡量吞吐量。

响应时间：包括平均响应时间、最小响应时间、最大响应时间、时间百分比等，其中时间百分比参考意义较大，如前95%的请求的最大响应时间。。

并发量：同时处理的查询请求的数量。

三、使用sysbench进行数据库压测

1、基本介绍

sysbench是跨平台的基准测试工具，支持多线程，支持多种数据库；主要包括以下几种测试：

cpu性能

磁盘io性能

调度程序性能

内存分配及传输速度

POSIX线程性能

数据库性能(OLTP基准测试)

该工具可以自动帮你在数据库里构造出来大量的数据，你想要多少数据，就自动给你构造出来多少条数据。同时还可以模拟几千个线程并发的访问数据库，模拟使用各种各样的 SQL 语句，包括模拟出来各种事务提交到你的数据库里去，甚至可以模拟出几十万的 TPS 去压测数据库。2、安装sysbench：

1. curl -s https://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh | sudo bash

2. sudo yum -y install sysbench

3. sysbench --version

3、基于 sysbench 构造测试表和测试数据：

首先需要在自己的数据库里创建好一个测试库，我们可以取个名字叫做 test，同时创建好对应的测试账号，可以叫做 root，密码是 123456，让这个用户有权限可以访问 test。

基于 sysbench 构建 20 个测试表，每个表里有 100 万条数据，接着使用 100 个并发线程去对这个数据库发起访问，连续访问 5 分钟，也就是 300 秒。命令如下：

sysbench --db-driver=mysql --time=300 --threads=100 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=root --mysql-password=123456 --mysql-db=test --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable prepare

4、执行测试：

（1）测试数据库的综合读写 TPS，使用的是 oltp_read_write 模式：

sysbench --db-driver=mysql --time=300 --threads=100 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable run

 （2）测试数据库的只读性能，使用的是 oltp_read_only模式：

sysbench --db-driver=mysql --time=300 --threads=100 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_only --db-ps-mode=disable run

（3）测试数据库的写入性能，使用的是 oltp_write_only 模式：

sysbench --db-driver=mysql --time=300 --threads=100 --report-interval=1 --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=test_user --mysql-password=test_user --mysql-db=test_db --tables=20 --table_size=1000000 oltp_write_only --db-ps-mode=disable run

使用上面的命令，sysbench 工具会根据你的指令构造出各种各样的 SQL 语句去更新或者查询你的 20 张测试表里的数据，同时监测出你的数据库的压测性能指标，最后完成压测之后，可以执行 cleanup 命令，清理数据。

5、压测结果分析：

按照我们上面的命令，我们是让它每隔 1 秒都会输出一次压测报告的，此时它每隔一秒会输出类似下面的一段东西：

[ 10s ] thds: 100 tps: 500 qps: 5000 (r/w/o: 3500/1000/500) lat (ms, 95%): 20 err/s: 0.00 reconn/s: 0.00
thds：100，这个意思就是有 100 个线程在压测

tps：500，这个意思就是每秒执行了 500 个事务

qps：5000，这个意思就是每秒可以执行 5000 个请求

(r/w/o: 3500/1000/500)：这个意思就是说，在每秒 5000 个请求中，有 3500 个请求是读请求，1000 个请求是写请求，500 个请求是其他的请求，就是对 QPS 进行了拆解

lat (ms, 95%)：20，这个意思就是说，95% 的请求的延迟都在 20 毫秒以下

err/s: 0.00 reconn/s: 0.00：这两个的意思就是说，每秒有 0 个请求是失败的，发生了 0 次网络重连

结束语
使用sysbench工具可以直接对数据库性能进行评价，但是在结果展示方面还有待进一步提升。当然后续可以对结果进行进一步处理，比如写入表格或作图，会更加直观。

最后：

为了助力软件测试员朋友们跳槽面试、升职加薪、职业困境，提高自己的技术，本文给大家整了一套涵盖测试所有技术栈的快速学习方法和笔记。目前已经收到了上百人网友的反馈，说是面试问到了很多这里面的知识点。

内容包含了：测试理论、Linux基础、MySQL基础、Web测试、接口测试、App测试、管理工具、Python基础、Selenium相关、性能测试、LordRunner相关等，希望能帮助到有心在技术这条道路上一路走到黑的朋友！

通过大数据总结发现，其实软件测试岗的面试都是差不多的。常问的有下面这几块知识点：

 测试理论（测试基础+需求分析+测试模型+测试计划+测试策略+测试案例等等）
 Linux（ Linux基础+Linux练习题）
 MySQL（基础知识+查询练习+万年学生表经典面试题汇总+数据库企业真题）
 Web测试
 API测试
 App测试
 管理工具
 Python基础（Python基础+编程题+集合+函数+Python特性等等）
 Selenium相关
 性能测试
 LordRunner相关
 计算机网络
 组成原理
 数据结构与算法
 逻辑题
 人力资源
一、软件测试基础
软件测试的步骤是什么?
如何录制测试脚本?
应该考虑进行如何测试的测试方法
怎样估计测试工作量?
测试设计的问题
当测试过程发生错误时，有哪几种解决办法?
测试执行的问题
测试评估的目标
如何提高测试?
C/S模式的优点和缺点
B/S模式的优点和缺点
…

二、Linux
grep和find的区别? grep 都有哪些用法?
查看IP地址?
创建和删除一个多级目录?
在当前用户家目录中查找haha.txt文件?
如何查询出tomcat的进程并杀掉这个进程，写出linux命令?
动态查看日志文件?
查看系統硬盘空间的命令?
查看当前机器listen 的所有端口?
…

三、Python
统计python源代码文件中代码行数，去除注释，空行，进行输出?
python调用cmd并返回结果?
冒泡排序
1,2,3,4 这4个数字，能组成多少个互不相同的且无重复的三位数，都是多少?
请用 python 打印出 10000 以内的对称数（对称数特点：数字左右对称，如：1,2,11,121,1221 等）
给定一个整数 N，和一个 0-9 的数 K，要求返回 0-N 中数字 K 出现的次数
判断 101-200 之间有多少个素数，并输出所有的素数
一个输入三角形的函数，输入后输出是否能组成三角形，三角形类型，请用等价类- 划分法设计测试用例
…

四、MySQL
你用的Mysql是哪个引擎，各引擎之间有什么区别?
如何对查询命令进行优化?
数据库的优化?
Sql注入是如何产“生的，如何防止?
NoSQL和关系数据库的区别?
MySQL与MongoDB本质之间最基本的差别是什么
Mysql数据库中怎么实现分页?
Mysql数据库的操作?
优化数据库?提高数据库的性能?
什么是数据的完整性?
…

五、Web

• Web测试和app测试区别？
• WEB测试环境搭建和测试方法
• WEB测试教程
• WEB测试要点及基本方法
• Web测试页面总结
• …
• 

六、接口测试
什么是接口
如果模块请求http改为了https,测试方案应该如何制定，修改?
常用HTTP 协议调试代理I具有什么?详细说明抓取HTTPS协议的设置过程?
描述TCP/IP协议的层次结构，以及每一-层中重要协议
jmeter,一个接口的响应结果如下:
接口产生的垃圾数据如何清理
依赖第三方的接口如何处理
测试的数据你放在哪?
什么是数据驱动，如何参数化?
…

七、性能测试
你认为性能测试的目的是什么?做好性能测试的工作的关键是什么?
服务端性能分析都从哪些角度来进行?
如何理解压力测试，负裁测试以及性能测试?
如何判断是否有内存泄漏及关注的指标?
描述软件产“生内存泄露的原因以及检查方式。(可以结合- 种开发语言进行描述)
简述什么是值传递，什么是地址传递，两者区别是什么?
什么是系统瓶颈?
…

八、selenium
如何开展自动化测试框架的构建?
如何设计自动化测试用例:
webdriver如何开启和退出一个浏览器?
什么是自动化测试框架?
Selenium是什么，流行的版本有哪些?
你如何从命令行启动Selenium RC?
在我的机器端口4444不是免费的。我怎样才能使用另一个端口?
什么是Selenium Server,它与Selenium Hub有什么不同?
你如何从Selenium连接到数据库?
你如何验证多个页面上存在的一个对象?
XPath中使用单斜杠和双斜杠有什么区别?
如何编写SeleniumIDE/ RC的用户扩展?
如何在页面加载成功后验证元素的存在?
你对Selenium Grid有什么了解?它提供了什么功能?
如何从你的Java Class启动Selenium服务器?
Selenium中有哪些验证点?
什么是XPath?什么时候应该在Selenium中使用XPath?
…

九、计算机与网络
一台计算机的IP是192.168.10.71子网掩码255.255.255.64与192.168.10.201 …
请简述DNS、活动目录、域的概念。
10M兆宽带是什么意思?理论下载速度是多少?
什么是IP地址?
OSI七层网络模型的划分?
TCP和UDP有什么不同?
HTTP属于哪一层的协议?
HTTP和HTTPS的区别?
cookies和session的区别?
HTTP的get请求和post请求的区别?
HTTP1.0和HTTP1.1有什么区别
TCP的连接建立过程，以及断开过程?
客户端使用DHCP获取IP的过程?
写出某个网段的网络地址和广播地址?
…

十、人力资源
你的测试职业发展是什么？你自认为做测试的优势在哪里？
你找工作时，最重要的考虑因素为何？
为什么我们应该录取你？
请谈谈你个人的最大特色。
一个测试工程师应具备那些素质和技能？
还有问一下你是怎样保证软件质量的，也就是说你觉得怎样才能最大限度地保证软件质量？
为什么选择测试这行？
如果我雇用你，你能给部门带来什么贡献？
…

最后

整份文档一共有将近 200 页，全部为大家展示出来肯定是不太现实的，为了不影响大家的阅读体验就只展示了部分内容，还望大家海涵，希望能帮助到您面试前的复习且找到一个好的工作，也节省大家在网上搜索资料的时间来学习！