【性能概念】99线响应时间

随着吞吐量的增大，响应时间会逐渐变长，当达到最大吞吐量之后，响应时间会开始急剧飙升，尤其是后面堆积队列中等待的请求

如果仅仅是关注平均值，由于大部分请求的响应时间还是相对较短，有一部分接口可能是10ms级别，慢请求往往只占一个很小的比例，所以从平均值中分析数据时，慢响应的接口响应时间被平均了。但实际上，可能有超过1%，或者5%请求的响应时间已经远远超出目标响应数据的范围

性能测试中，更科学合理的指标是关注TP95或者TP99响应时间（TP是Top Percentile缩写），即我们平时说的95线或者99线响应时间，用来描述一组响应时间的分布特征。以TP95为例，假设有100个响应时间，从小到大排序之后，第95个响应时间的值就是这组响应时间的TP95值，表示至少有95%的数字是小于或者等于这个值

并发请求数为1000，平均响应时间是186ms，TP95是678ms，TP99是996ms。假设应用设计的最大响应时间是600ms，超过时间则超时处理，这样的话关注平均时间是OK的，但实际上已经有超过50个请求失败error。所以如果我们关注的是TP95或者TP99，那么就可以看出此次请求的异常