深聊性能测试，从入门到放弃之：性能测试基准与阶段

1、引言

关于性能测试的话题，在小鱼的博客中，没有三位数，也有个位数。虽然写的不少，但是能记住的不多…
这习惯性的喝点咖啡，然后就…(不喝咖啡睡眠质量也不咋地)，索性就再唠点。

我们都知道，性能测试的目的就是获取系统响应时间、吞吐量、稳定性、容量等信息。
那么，我到底改如何去做或者如何发现这些缺陷？
跟着小鱼往下捋~~

2、性能测试内容

关于性能测试，从以下几个方面入手就可以。

2.1 基准测试

Benchmark或者Baseline测试。
一般为单用户测试，或者是零数据量环境下的测试。
目的
目的在于建立一个可度量的参考标准，为其他测试场景或者调优过程提供对比参考。
也可认为是最基础的性能测试，如果基准测试的结果都不能达到预期要求，那么后续场景也就没必要测试了。

2.2 日常压力测试

在基准测试通过后，应该先进行较小压力下的测试，首先对系统在日常压力下的表现进行测试。此压力需要根据系统使用相关数据得出，如系统平均每天访问量、平均在线人数、每日完成事务数等。通过此测试，发现一些较表面的性能问题并进行处理。

2.3 峰值压力测试

在日常压力测试通过后，需要进行更大压力的测试。
此处压力同样需要相关数据的支持，一般为未来几年后的预期压力。可根据历史日均压力、日最高压力等信息，估算出未来几年的日均以及日最高压力。再通过一些通用估算方法、如二八原则，将日压力转换成峰值压力。

峰值压力为可预期到的最大负载压力，通过了此测试，则认为系统有能力满足未来增长的压力。

2.4 容量测试

验证了系统是否可满足预期的压力后，还需要知道系统能够承受的最大压力，也就是容量。一般通过“拐点法”进行测试，逐步增大系统的压力，直到性能指标不可接受或者出现了明显的拐点。如下图，拐点在哪？

2.5 稳定性测试

验证系统是否可长期稳定的运行，是否存在一些短时间内可能无法发现的缺陷（如内存溢出、数据库连接不释放等）。
为了缩短测试工期，一般可将预期一天的压力集中在2小时内完成（二八原则），这样持续加压10小时，便相当于系统运行5天。注意监控各种性能指标是否平稳，有无下降。

3、性能测试阶段

3.1 测试确认

理解被测系统、寻找测试点、确认测试范围、测试环境等。
一些重要信息需要同PM、需求人员、设计人员讨论确认，如用户最常用哪些功能、最关注哪的性能，程序上哪可能是压力点，哪些数据需要模拟到真实的量级，大体上需要使用哪种测试方法。

3.2 确定通过标准

性能是好是坏、测试是否通过，必须有明确的标准。
这个标准，主要从客户的期望和业务上的需求两方面来考虑，客户的期望一般指页面上的响应时间，业务需求则是系统的处理能力，一般为吞吐量或TPS（每秒完成事务数）。标准制定的不合理，测试结果可能无法反映系统真实的性能表现，或者会让客户无法接受我们认为通过的软件。

至于具体如何去设定，是需要同业务负责人（一般为PM）和技术负责人（一般为设计人员）共同确认的，业务负责人了解用户的实际需求和期望，技术负责人了解具体的实现，可以判断哪些是不可达到的要求。一旦达成了共识，那么测试就要严格的按照标准去执行。

3.3 测试设计

主要从上面提到的几个方面进行分析，针对系统的特点设计出合理的测试场景。为了让测试结果更加准确，这里需要很细致的工作。如建立用户模型，只有知道真实的用户是如何对系统产生压力，才可以设计出有代表性的压力测试场景。

这就涉及到很多信息，如用户群的分布、各类型用户用到的功能、用户的使用习惯、工作时间段、系统各模块压力分布等等。只有从多方面不断的积累这种数据，才会让压力场景更有意义。最后将设计场景转换成具体的用例。

测试数据的设计也是一个重点且容易出问题的地方。生成测试数据量达到未来预期数量只是最基础的一步，更需要考虑的是数据的分布是否合理，需要仔细的确认程序中使用到的各种查询条件，这些重点列的数值要尽可能的模拟真实的数据分布（数据统计信息、执行计划相关的内容，此处就不细说了），否则测试的结果可能是无效的。

此外，性能测试执行过程中，需要监控收集的各种指标数据，也需要明确下来。

3.4 测试环境准备

部署测试环境，生成测试数据，环境预调优等等。
预调优指根据系统的特点和自己的经验，提前对系统的各个方面做一些优化调整，避免测试执行过程中的无谓返工。比如一个高并发的系统，10000人在线，连接池和线程池的配置还用默认的，显然是会测出问题的。

3.5 测试执行及监控

准备测试脚本，执行之前设计好的各个用例，监控并收集需要的数据。出现问题时，切记要全面的保留事故现场、或者是能进行分析的数据。比如TOMCAT不再响应，不能只把这个现象记录下来，这对问题的排查定位是没有意义的，要保留所有相关的日志，导出线程转储和堆转储。

3.6 问题分析及调优

现问题或者性能指标达不到预期，及时的分析定位，处理后重复测试过程。

性能问题通常是相互关联相互影响的，表面上看到的现象很可能不是根本问题，而是另一处出现问题后引起的反应。这就要求监控收集数据时要全面，从多方面多个角度去判断定位。

调优的过程其实也是一种平衡的过程，在系统的多个方面达到一个平衡即可。

3.7 测试报告

将测试过程中记录的各种数据汇总成报告，将各方面需要的结果清楚的展现出来。

4、总结

上面所有内容中，如果排除技术上的问题，性能测试中最难做好的，就是用户模型（或者叫系统使用模型）的分析。它直接决定了压力测试场景是否能够有效的模拟真实世界压力，而正是这种对真实压力的模拟，才使性能测试有了更大的意义。可以说，性能测试做到一定程度，差距就体现在了模型建立上。

至于性能问题的分析、定位或者调优，很大程度是一种技术问题，需要多方面的专业知识。数据库、操作系统、网络、开发都是一个合格的性能测试人员需要拥有的技能，只有这样，才能从多角度全方位的去考虑分析问题。

当然，对于测试来说，技术能力只能排在第二号，测试思想才是最根本的。
因为思想是根本，技术是辅助。
更多性能测试内容，请关注小鱼的博客
《性能测试基础到实战》从理论到实战，小鱼带着你一起飞~ ~