消息服务器模型,服务器线程模型

一：线程池 + 消息队列 (实现了工作线程和IO线程的解耦)

队列最常用于生产者-消费者模型。IO线程就是上游的生产者。它监听上游发过来的请求，并写入任务队列。除此之外，IO线程还会收发包。

实际工程中会有多个任务队列，这是临界资源。

工作线程会执行任务队列中的任务。(消费者)

工作线程是同步阻塞执行任务的。

二：异步线程模模型

无阻塞，以callback方式回调。

三：工作线程的工作模式

从任务队列拿到任务，本地初始化计算，进行参数的解析和计算。

读取缓存

利用上个步骤取得的数据，本地计算

通过RPC调用下游service，读取其数据，或者让其做一些事情。

RPC调用结束以后，再本次计算

访问数据库

收尾工作

分析线程工作时间可发现，1，3，5, 7等粉色时间轴需要在本地计算，这会占用CPU。2,4，6等橙色时间轴表示调用下游的等待时间(线程会处于等待状态)，不会占用CPU。

这部分等待时间包括三部分时间：

上游发送请求时间

下游计算时间

下游响应返回时间

一个工作线程往往不是完全忙碌的，它也会等待。一个线程处理任务的时间包括计算时间和本地时间。

四：线程池中线程的数量

假如工作线程的计算时间是x，等待时间是y，CPU是N核，那么线程池中工作线程数量设置为N * (x+y)/x ，那么会使CPU利用率最大化。

CPU密集型任务，比如加密解密，压缩解压缩，搜索排序，会占用很多本地CPU。

非CPU密集型任务，本地时间很少，瓶颈常在后端数据库，可设置较多的工作线程。

2019-07-12

为什么线程池中的线程数量可能会大于服务器的核数？

假设生产者和消费者之间的队列有足够多的任务，但一个CPU在执行任务的过程中，不太可能一直在忙碌，这是因为CPU很可能既要计算，又要IO，比如远程调用某服务，这时候是不会占用CPU的，而OS这时候会切换线程。一个线程的等待时间是y，而y / x 就是当他等待的时候，完成能完成计算的线程数量。