吞吐量（Throughput）和延迟（Latency）

简介

• Latency，中文译作延迟。Throughput，中文译作吞吐量。它们是衡量软件系统的最常见的两个指标。
• 延迟一般包括单向延迟（One-way Latency）和往返延迟（Round Trip Latency），实际测量时一般取往返延迟。它的单位一般是ms、s、min、h等。
• 吞吐量一般指相当一段时间内测量出来的系统单位时间处理的任务数或事务数（TPS）。注意“相当一段时间”，不是几秒，而可能是十几分钟、半个小时、一天、几周甚至几月。它的单位一般是TPS、每单位时间写入磁盘的字节数等。

并发

• 比如Apache和Nginx。在并发请求数不高时，比如10000（我假设的）以下时，也许Apache的吞吐量可能优于Nginx，但在大于10000时Apache的吞吐量就开始急剧下降，而Nginx的吞吐量相对之前比较稳定。所以比较Web服务器的吞吐量时，必须观察在并发请求数逐渐递增情况下它们各自的表现。

• 根据延迟和吞吐量我们还可以计算并发度（Concurrency），公式如下：

$$并发度=吞吐量\ast 延迟$$

举例：

• 一个任务的处理花费1ms，吞吐量为1000tps，那么并发度就等于1/1000*1000=1，可以得出任务处理线程模型是单线程模型。

• 一个HDD磁盘的延迟为8ms，但吞吐量可以达到每秒钟写40MB，那么每次磁盘寻道可以写入的数据量为(4010^6) * (810^-3)B = 320,000B = 320KB。

关于延迟跟吞吐量的比喻

原文

In short, the throughput is a function of how many stages are in parallel while latency is a function of how many are in series when there are multiple stages in the processing. The stage with the lowest throughput determines the overall throughput.

结束

• 操作系统不光要尽量让网络吞吐量大，而且还要让每个应用程序发送数据的延迟尽量小。这是两个不同的目标。

转自：https://www.cnblogs.com/binyao/p/5162424.html