Linux性能优化实战 35：C10K 和 C1000K 问题

一、定义：

1. C10K 就是单机同时处理 1 万个请求（并发连接 1 万）的问题

2. C1000K 也就是单机支持处理 100 万个请求（并发连接 100 万）的问题、

 

二、I/O 模型优化

1. 两种 I/O 事件通知的方式：水平触发和边缘触发

(1) 水平触发：只要文件描述符可以非阻塞地执行 I/O ，就会触发通知。

                      应用程序持续检查文件描述符的状态，根据状态进行 I/O 操作。

(2) 边缘触发：只有在文件描述符的状态发生改变（也就是 I/O 请求达到）时，才发送一次通知。

                应用程序需要尽可能多地执行 I/O，直到无法继续读写，才可以停止。如果 I/O 没执行完，那么这次通知也就丢失了。

2. I/O 多路复用的方法1:   使用非阻塞 I/O 和水平触发通知，比如使用 select 或者 poll。

(1) select 使用固定长度的位相量，会有最大描述符数量的限制，默认限制是 1024。

     检查套接字状态是用轮询，再加上应用软件使用时的轮询，复杂度是O(n平方)

(2) poll 换成了一个没有固定长度的数组，没有最大描述符数量的限制。

     同样需要对文件描述符列表进行轮询，复杂度是O(n)

(3) 每次调用 select 和 poll 时，还需要把文件描述符的集合，从用户空间传入内核空间，由内核修改后，再传出到用户空间。

       这一来一回的切换，也增加了处理成本。

3. I/O 多路复用的方法2:   使用非阻塞 I/O 和边缘触发通知，比如epoll。

(1) epoll 使用红黑树，在内核中管理文件描述符的集合，不需要应用程序在每次操作时传入、传出这个集合.

(2) epoll 使用事件驱动的机制，只关注有 I/O 事件发生的文件描述符，不需要轮询扫描整个集合。复杂度是O(1)

4. I/O 多路复用的方法3:   使用异步 I/O, 比如glibc 提供的异步 I/O 库

(1) 异步 I/O 允许应用程序同时发起很多 I/O 操作

(2) I/O 完成后，系统会用事件通知的方式，告诉应用程序。应用程序才会去查询 I/O 操作的结果。

5. I/O 多路复用下的工作模型

     主进程 + 多个 worker 子进程，这也是最常用的一种模型。

(1) 主进程执行 bind() + listen() 后，创建多个子进程；

(2) 每个子进程都 accept() 或epoll_wait() ，来处理相同的套接字。

 

三、C10K，C100K问题解决

1. Linux 2.6 中引入的 epoll ，完美解决了 C10K 的问题，现在的高性能网络方案都基于epoll。

2. 从 C10K 到 C100K ，只需要增加系统的物理资源就可以满足

 

四、C1000K解决方案

      本质上还是构建在 epoll 的非阻塞 I/O 模型上。

      除了 I/O 模型之外，还需要从应用程序到 Linux 内核、再到 CPU、内存和网络等各个层次的深度优化。

      特别是需要借助硬件，来卸载那些原来通过软件处理的大量功能。

 

五、C10M解决方案

      要解决这个问题，最重要就是跳过内核协议栈的冗长路径，把网络包直接送到要处理的应用程序那里去。这里有两种常见的机制，DPDK 和 XDP。

(1) DPDK： 是用户态网络的标准。它跳过内核协议栈，直接由用户态进程通过轮询的方式，来处理网络接收。

                    每时每刻都有新的网络包需要处理，轮询的优势就很明显。

(2) XDP：是 Linux 内核提供的一种高性能网络数据路径。它允许网络包，在进入内核协议栈之前，就进行处理，也可以带来更高的性能。