基准测试是针对系统设计的一种压力测试,通常用于系统可靠性和性能瓶颈问题的查找,本章主要讲解基准测试的重要性,策略,方法。
目录
2.1为什么需要基准测试
- 基准测试可以观察系统在不同压力下的行为,评估系统的容量,掌握哪些是重要的变化,或者观察系统是如何处理不同的数据。
- 基准测试可以完成下面的工作:
- 验证系统的的一些假设情况是否符合实际;
- 重现系统某些行为,以解决异常行为;
- 测试系统当前的运行情况,了解系统的性能,便于做性能提升;
- 模拟更好的负荷,找出扩展性瓶颈;
- 规划未来的业务增长;
- 测试应用适应可变环境的能力;
- 测试不同的硬件,软件和操作系统配置;
2.2基准测试的策略
基准测试有两种主要的策略:一是针对整个系统的整体测试,另外是单独测试mysql,两者分别被称为集成式和单组件基准测试。
针对系统做集成测试而不是单独测试,原因如下:
- 测试集整个应用,包括服务器,应用代码,网络和数据库是非常有用的,因为用户关注的并不仅仅是mysql本身的性能,而是应用整体的性能;
- mysql并非总是性能瓶颈;
- 只有做整体测试,才能发现各部分之间的缓存带来的影响;
- 整体测试更能揭示应用的真实表现;
但是,应用的整体基准测试是非常难建立的,甚至很难正确设置,错误的设置不能真实的反应现实情况。
不过有时候,我们只需要关注mysql性能,至少在项目刚起步的时候可以这样做,可以选择只做mysql测试:
- 需要比较不同schema或查询的性能;
- 针对应用中某个问题的测试;
- 为了避免漫长的测试,可以通过短暂的基准测试,做快速的周期循环,来检测雏某些调整后的效果。
2.3测试指标
- 吞吐量:单位时间内的事务处理数;
- 响应时间或延迟:用于测试任务所需时间;
- 并发性:在任意时间有多少同时发生的并发请求;
- 可扩展性:对扩大原先业务的难易程度以及性能提升程度
2.4 基准测试的方法
错误的基准测试可能导致测试解决无用或者不准确,如下面这些错误
- 使用真实数据的子集而不是全集;
- 使用错误的数据分布;
- 使用不真实的分布参数;
- 在多用点场景中,只做单用户测试;
- 在单服务器测试分布式应用;
- 与真实用户行为不匹配;
- 反复执行同一个查询;
- 没有检查错误;
- 忽略了系统预测过程;
- 使用默认服务器配置(下章详细讨论服务器优化配置);
- 测试时间太短;