java 利特尔法则_怎样确定 Web 应用程序的线程池大小

怎样确定 Web 应用程序的线程池大小

标签(空格分隔)： Thread Pool Web

继续当扩展 Web 应用程序时面临的架构问题，在这篇博客中，我将介绍一个常见的问题，怎样确定 Web 应用程序的线程池大小？当部署 Web 应用程序到生产或是当 Web 应用程序性能测试的时候会显示出来。

线程池

在 Web 应用程序中，线程池大小决定了它们能在任何时候处理的并发请求数。如果一个 Web 应用程序得到的请求比线程池多，多余的请求要么排队要么被拒绝。

请注意并发并不是并行。并发请求是在任何时间点只有少数请求可以运行在 CPU 上正在被处理的请求数。并行请求是在任何时间点所有的请求都可以运行在 CPU 上的正在处理的请求数。

在非阻塞 I/O 应用程序中，比如 NodeJS，一个单进程(线程)能处理并发的处理多个请求。在多核 CPU 环境，可以通过增加进程或线程数来处理并行请求。

在阻塞 I/O 应用程序中，比如 Java SpringMVC，一个单进程仅仅可以并发的处理一个请求。为了并发的处理更多的请求，我们不得不增加线程数。

CPU 限制的应用程序

CPU 限制的应用程序，线程池的大小应该等于系统里面 CPU 的数量。增加更多的线程将中断请求处理，由于线程上下文切换，这样也会增加响应时间。

非 I/O 阻塞的应用程序将被 CPU 限制，因为它们没有线程等待时间，当请求得到处理的时候。

I/O 限制的应用程序

确定 I/O 限制应用程序的线程池的大小是复杂的多，并依赖于下游系统的响应时间，因为一个线程会被阻塞直到其他系统响应了。我们将不得不增加线程的数量,以便更好地利用 CPU，正如在 Rea