数据库优化 学习笔记
一、什么是基准测试
基准测试是一种测量和评估软件性能指标的活动用于建立某个时刻的性能基准,以便当系统发生软硬件变化时重新进行基准测试以评估变化对性能的影响。
基准测试是针对系统设置的一种压力测试。
1.1、基准测试特点
-
直接、简单、易于比较,用于评估服务器的处理能力
-
可以不关心业务逻辑,所使用的查询和业务的真实性可以和业务环境没关系
1.2、压力测试特点
-
对真实的业务数据进行测试,获得真实系统所能承受的压力
-
需要针对不同主题,所使用的数据和查询也是真实用到的
-
基准测试是简化了的压力测试
二、基准测试的目的
-
建立 MySQL 服务器的性能基准线,确定当前 MySQL 服务器运行情况,确定优化之后的效果
-
模拟比当前系统更高的负载,已找出系统的扩展瓶颈,可以增加数据库并发,观察 QPS (每秒处理的查询数),TPS (每秒处理的事务数)变化,确定并发量与性能最优的关系
-
测试不同的硬件、软件和操作系统配置
-
明新的硬件设备是否配置正确
三、如何进行基准测试
3.1、对整个系统进行基准测试
优点:
-
能够测试整个系统的性能,包括 web 服务器缓存、数据库等
-
MySQL 并不总是出现性能问题的瓶颈,如果只关注 MySQL 可能忽略其他问题,能反映出系统中各个组件接口间的性能问题体现真实性能状况
缺点:
基准测试最重要的就是简单,可能对不同的方案进行测试,找到最优的方案,基准测试进行的时间一定要短,否则就要花费大量的时间进行基准测试。
- 测试设计复杂,消耗时间长
3.2、对 MySQL 进行基准测试
优点: 测试设计简单,所耗费时间短。
缺点: 无法全面了解整个系统的性能基线。
MySQL 基准测试的常见指标
(1)单位时间内处理的事务数(TPS)
(2)单位时间内处理的查询数(QPS)
3.3、MySQL基准测试工具
-
MySQL 基准测试之 mysqlslap,可以模拟服务器负载,并输出相关统计信息。
-
sysbench 测试工具(这里不多做介绍):https://www.cnblogs.com/kismetv/archive/2017/09/30/7615738.html
常用参数说明(不要背)
--auto-generate-sql 由系统自动生成SQL脚本进行测试
--auto-generate-sql-add-autoincrement 在生成的表中增加自增ID
--auto-generate-sql-load-type 指定测试中使用的查询类型 读写或者混合,默认是混合
--auto-generate-sql-write-number 指定初始化数据时生成的数据量
--concurrency 指定并发线程的数量 1,10,50,200
--engine 指定要测试表的存储引擎,可以用逗号分割多个存储引擎
--no-drop 指定不清理测试数据
--iterations 指定测试运行的次数 指定了这个不能指定no-drop
--number-of-queries 指定每一个线程执行的查询数量
--debug-info 指定输出额外的内存及CPU统计信息
--number-int-cols 指定测试表中包含的INT类型列的数量
--number-char-cols 指定测试表中包含的varchar类型的数量
--create-schema 指定了用于执行测试的数据库的名字(可以是不存在的数据库名, 因为基准测试是针对系统的)
--query 用于指定自定义SQL的脚本
--only-print 并不运行测试脚本,而是把生成的脚本打印出来
3.4、mysqlslap 怎么用
- 注意:不是在 MySQL 里用
- 可以在 cmd 里输入下面的命令
mysqlslap --concurrency=1,50,100,200 --iterations=3 --number-int-cols=5 --number-char-cols=5 --auto-generate-sql --auto-generate-sql-add-autoincrement --engine=myisam,innodb --number-of-queries=10 --create-schema=test
3.5、MyISAM 与 InnoDB 进一步比较