高并发性能指标-QPS、TPS、RT、吞吐量

1、高并发性能指标-QPS、TPS、RT、吞吐量?

随着互联网技术和应用的发展，需要越来越多的高并发系统，评估这些高并发系统性能水平的重要指标包括QPS、TPS、RT和吞吐量。

【QPS，每秒查询】：Queries Per Second，每秒查询数，是一台服务器每秒能够响应的查询次数。

【TPS，每秒事务】：Transactions Per Second，每秒事务数，一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数。

【QPS vs TPS区别】：

TPS即每秒处理事务数，包括了：

1)、用户请求服务器。

2)、服务器自己的内部处理。

3)、服务器返回给用户。

这三个过程，每秒能够完成N个这三个过程，TPS也就是N。

对于一个页面的一次访问，形成一个TPS。但一次页面请求，可能产生多次对服务器的请求，服务器对这些请求，就可计入QPS之中(多次QPS)。

例如访问一个页面会请求服务器2次，一次访问，产生一个TPS，产生2个QPS。

【RT，响应时间】：Response Time，响应时间。执行一个请求从开始到最后收到响应数据所花费的总体时间，即从客户端发起请求到收到服务器响应结果的时间。

【并发数】：指系统同时能处理的请求数量，这个也是反应了系统的负载能力。

【吞吐量】：指系统在单位时间内处理请求的数量，TPS、QPS都是吞吐量的常用量化指标。
系统的吞吐量(承压能力)与请求对CPU的消耗、外部接口、IO等等紧密关联。

单个请求对CPU消耗越高，外部系统接口、IO速度越慢，系统吞吐能力越低，反之越高。

系统吞吐量几个重要参数：QPS(TPS)、并发数、响应时间。

关系：QPS(TPS)= 并发数/平均响应时间。

一个系统吞吐量通常有QPS(TPS)，并发数两个因素决定，只要某一项达到系统最高值，系统吞吐量就上不去了，如果压力继续增大，系统的吞吐量反而会下降。

【实际举例】：按二八定律来看，如果每天80%的访问集中在20%的时间里，这20%时间就叫做峰值时间。

• 公式：(总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS)
• 机器：峰值时间每秒QPS / 单台机器的QPS = 需要的机器

1、每天300w PV的在单台机器上，这台机器需要多少QPS：( 3000000 * 0.8 ) / (86400 * 0.2 ) = 139 (QPS)

2、如果一台机器的QPS是58，需要几台机器来支持：139 / 58 = 3

【最佳线程数、QPS、RT】

1、单线程QPS公式：QPS=1000ms/RT

对同一个系统而言，支持的线程数越多，QPS越高。假设一个RT是80ms，则可以很容易的计算出QPS，QPS = 1000/80 = 12.5。多线程场景，如果把服务端的线程数提升到2，那么整个系统的QPS则为 2*(1000/80) = 25。可见QPS随着线程的增加而线性增长，那QPS上不去就加线程呗，听起来很有道理，但是往往现实并非如此。

2、QPS和RT的真实关系

RT越大，QPS越低(反向的捺)。

3、最佳线程数量

最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间)* cpu数量

特性：在达到最佳线程数的时候，线程数量继续递增，则QPS不变，而响应时间变长，持续递增线程数量，则QPS开始下降。

每个系统都有其最佳线程数量，但是不同状态下，最佳线程数量是会变化的。

在评估一个高并发系统时，不能只看其中某一项性能指标，需要多维度地进行评估分析，才能更好地衡量系统的可用性和性能，理解其实际处理能力，并且根据需要进行优化和调整。

【PV】：Page View，页面访问量，即页面浏览量或点击量，用户每次刷新即被计算一次。

【UV】：Unique Visitor，独立访客，统计1天内访问某站点的用户数。

【RT】：响应时间，响应时间是指系统对请求作出响应的时间，一般取平均响应时间。

【DAU】：Daily Active User，日活跃用户数量。DAU通常统计一日(统计日)之内，登录或使用了某个产品的用户数(去除重复登录的用户)，与UV概念相似。

【MAU】：Month Active User，月活跃用户数量，指网站、app等去重后的月活跃用户数量。

【系统吞吐量评估】：做系统设计的时候就需要考虑CPU运算，IO，外部系统响应因素造成的影响以及对系统性能的初步预估。