QPS相关概念记录

1、QPS 每秒查询 queries per second
是一台服务器每秒能够响应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。
在互联网中常用来衡量服务器机器的性能。
2、TPS 每秒事务 transaction per second
系统每秒钟能够处理的业务数量，它是软件测试结果的测量单位。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数。
QPS与TPS区别：
QPS基本类似于TPS，但是不同的是，对于一个页面的一次访问，形成一个TPS；但一次页面请求，可能产生多次对服务器的请求，服务器对这些请求，就可计入“QPS”之中。如，访问一个页面会请求服务器2次，一次访问，产生一个“T”，产生2个“Q”。
3、RT 响应时间 response time
执行一个请求从开始到最后收到响应数据所花费的总体时间，即从客户端发起请求到收到服务器响应结果的时间。是一个系统最重要的指标之一，它的数值大小直接反应了系统的快慢。
4、并发数
指系统同时能处理的请求数量，反应了系统的负载能力。
5、吞吐量
吞吐量是指单位时间内系统能处理的请求数量，体现系统处理请求的能力。系统的吞吐量与请求对CPU的消耗、外部接口、IO等等紧密关联。单个请求对CPU消耗越高，外部系统接口、IO速度越慢，系统吞吐能力越低，反之越高。
系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间。

1. QPS（TPS）：每秒请求（事务）查询率
2. 并发数： 系统同时处理的请求（事务）数
3. 响应时间： 查询平均响应时间
   推算出它们之间的关系：
   ● QPS（TPS）= 并发数 / RT
   ● 并发数 = QPS * RT
   6、举例
   我们通过一个实例来把上面几个概念串起来理解。
   按二八定律来看，如果每天 80% 的访问（PV：page view 浏览量、点击量）集中在 20% 的时间里，这 20% 时间就叫做峰值时间。
   ● 公式：峰值时间每秒请求数(QPS) = ( 总PV数 * 80% ) / ( 每天秒数 * 20% )
   ● 机器：需要的机器 = 峰值时间每秒QPS / 单台机器的QPS
   1、每天300万 的PV 在一个服务上，这个服务需要多少QPS？
   ( 3000000 * 0.8 ) / (86400 * 0.2 ) = 139 (QPS)
   2、如果一台机器的QPS是58，需要几台机器来支持？
   139 / 58 = 3台
   7、最佳实践：线程数、QPS、RT
   假设一个RT是80ms，计算出QPS
   对于单机单线程来说
   QPS = 1000 / 80ms = 12.5
   对于单机多线程来说，将机器的线程数提升到20
   QPS = (1000 / 80ms) * 20 = 250
   对于多机多线程，也就是对于一个系统集群来说，单机线程数为20，机器数量为2
   QPS = (1000 / 80ms) * 20 * 2 = 500
   最佳线程数量
   性能压测的情况下，起初随着用户数的增加，QPS会上升，当到了一定的阀值之后，用户数量增加QPS并不会增加，或者增加不明显，同时请求的响应时间却大幅增加，这个阀值我们认为是最佳线程数。
   1、公式：
   最佳线程数量 = ((线程等待执行时间 + 线程cpu执行时间) / 线程cpu执行时间) * cpu数量
   2、特性：
   ● 在达到最佳线程数的时候，线程数量继续递增，则QPS不变，而响应时间变长，持续递增线程数量，则QPS开始下降。
   ● 每个系统都有其最佳线程数量，但是不同状态下，最佳线程数量是会变化的。
   ● 瓶颈资源可以是CPU，可以是内存，可以是锁资源，IO资源
   超过最佳线程数–导致资源的竞争，超过最佳线程数–响应时间递增。
   3、为什么要找最佳线程数
   ● 过多的线程只会造成，更多的内存开销，更多的CPU开销，但是对提升QPS确毫无帮助
   ● 找到最佳线程数后通过简单的设置，可以让web系统更加稳定，得到最高，最稳定的QPS输出
   4、最佳线程数的主要影响因素
   ● IO密集型
   IO开销较多的应用其CPU线程等待时间会比较长，所以线程数量可以开的多一些，相反则线程数量要少一些，其实有两种极端，纯IO的应用，比如proxy，则线程数量可以开到非常大（实在太大了则需要考虑线程切换的开销），这种应用基本上后端（比如这个proxy是代理搜索的）的QPS能有多少，proxy就有多少。
   Proxy 应用（耗IO）的线程越多越好，当线程达到过多时，线程本身资源的开销也会成为瓶颈，线程本身也是一个资源。所以这类Proxy应用一般采取轻程模型，NIO解决，如 nginx

● CPU密集型
在最佳线程数量之前，QPS和线程是互相递增的关系，线程数量到了最佳线程之后，QPS持平，不在上升，甚至略有下降，同时响应时间持续上升。同一个系统而言，最佳线程数越多，QPS越高
计算型应用（耗CPU），线程数量就是CPU的核数，如搜索索引服务器，需要做大量的计算排序，非常耗CPU资源

5、如何提升RT（响应时间）
● 减少 IO 的响应时间，减少 IO 的调用次数
并发HTTP请求，无上下文依赖，多个连接，一个线程
HTTP连接池（长连接，keep-alive）
● 减少 CPU 的使用时间
forest 循环的例子
6、如何提升 QPS（每秒查询数）
● 减少 CPU 的使用时间
● 增加 CPU 的数量
● 减少同步锁