IOCP 完成端口 是性能最好的一种I/O模型

IOCP 浅析

IOCP（I/O Completion Port，I/O完成端口）是性能最好的一种I/O模型。它是应用程序使用线程池处理异步I/O请求的一种机制。在处理多个并发的异步I/O请求时，以往的模型都是在接收请求是创建一个线程来应答请求。这样就有很多的线程并行地运行在系统中。而这些线程都是可运行的，Windows内核花费大量的时间在进行线程的上下文切换，并没有多少时间花在线程运行上。再加上创建新线程的开销比较大，所以造成了效率的低下。

而IOCP模型是事先开好了N个线程，存储在线程池中，让他们hold。然后将所有用户的请求都投递到一个完成端口上，然后N个工作线程逐一地从完成端口中取得用户消息并加以处理。这样就避免了为每个用户开一个线程。既减少了线程资源，又提高了线程的利用率。

完成端口模型是怎样实现的呢？我们先创建一个完成端口（::CreateIoCompletioPort()）。然后再创建一个或多个工作线程，并指定他们到这个完成端口上去读取数据。我们再将远程连接的套接字句柄关联到这个完成端口（还是用::CreateIoCompletionPort()）。一切就OK了。

工作线程都干些什么呢？首先是调用::GetQueuedCompletionStatus()函数在关联到这个完成端口上的所有套接字上等待I/O的完成。再判断完成了什么类型的I/O。一般来说，有三种类型的I/O，OP_ACCEPT，OP_READ和OP_WIRTE。我们到数据缓冲区内读取数据后，再投递一个或是多个同类型的I/O即可（::AcceptEx()、::WSARecv()、::WSASend()）。对读取到的数据，我们可以按照自己的需要来进行相应的处理。

为此，我们需要一个以OVERLAPPED（重叠I/O）结构为第一个字段的per-I/O数据自定义结构。

typedef struct _PER_IO_DATA
{
         OVERLAPPED ol;      // 重叠I/O结构
         char buf[BUFFER_SIZE];  // 数据缓冲区
         int nOperationType;         //I/O操作类型
#define OP_READ 1
#define OP_WRITE 2
#define OP_ACCEPT 3
} PER_IO_DATA, *PPER_IO_DATA;

将一个PER_IO_DATA结构强制转化成一个OVERLAPPED结构传给::GetQueuedCompletionStatus()函数，返回的这个PER_IO_DATA结构的的nOperationType就是I/O操作的类型。当然，这些类型都是在投递I/O请求时自己设置的。

这样一个IOCP服务器的框架就出来了。当然，要做一个好的IOCP服务器，还有考虑很多问题，如内存资源管理、接受连接的方法、恶意的客户连接、包的重排序等等。以上是个人对于IOCP模型的一些理解与看法，还有待完善。另外各Winsock API的用法参见MSDN。

 

 

郭 仁祥, 软件工程师, IBM

郭仁祥，软件工程师，目前就职于 IBM CDL，从事 Java Cloud 和 JDK 方面的工作。

简介： 传统的 Server/Client 实现都是为每个请求创建独立的线程，处理一个客户的请求。但这种实现在客户端请求并发量巨大的情形下效率低下，于是出现了 IOCP（Input/Output Completion Port）。本文从 IOCP 的基本概念和思想出发，比较 IOCP 与传统 Server/Client 实现的利弊，分析了 JDK 中异步 I/O 和 IOCP 的具体实现，并以一个 Log 集中处理的实例分析和介绍了 IOCP 思想在具体实践中的应用。

发布日期： 2012 年 10 月 22 日
级别： 中级
访问情况 ： 4313 次浏览
评论： 1 (查看 | 添加评论 - 登录)

平均分 (8个评分)
为本文评分

什么是 IOCP

随着计算机技术，尤其是网络技术的飞速发展，如今的程序开发人员不仅仅局限于基于单机运行或单一线程的应用程序的开发。服务器端 / 客户端模式的最显著的特点是一个服务器端应用能同时为多个客户端提供服务。而传统的服务器端 / 客户端模式通常为每一个客户端创建一个独立的线程，这种实现方式在客户端数量不多的情况下问题不大，但对于类似于铁路网络订票这样的瞬间客户数量巨大的系统来说，效率极端低下。这是因为一方面创建新线程操作系统开销较大，另一方面同时有许多线程处于运行状态，操作系统内核需要花费大量时间进行上下文切换，并没有在线程执行上花更多的时间。

因此，微软在 Winsocket2 中引入了 IOCP（Input/Output Completion Port）模型。IOCP 是 Input/Output Completion Port（I/O 完成端口）的简称。简单的说，IOCP 是一种高性能的 I/O 模型，是一种应用程序使用线程池处理异步 I/O 请求的机制。Java7 中对 IOCP 有了很好的封装，程序员可以非常方便的时候经过封装的 channel 类来读写和传输数据。

---

回页首

同步 / 异步，阻塞 / 非阻塞

所谓同步，就是在发出一个功能调用时，在没有得到结果之前，该调用就不返回。按照这个定义，其实绝大多数函数或方法都是同步调用。

异步的概念和同步相对。当一个异步过程调用发出后，调用者不能立刻得到结果。实际处理这个调用的部件在完成后，通过状态、通知和回调来通知调用者。

通俗来讲，完成一件事再去做另外一件事就是同步，而一起做两件或者两件以上的事情就是异步了。

拿一个服务器与客户端通信的例子来说。

如果是同步：

Client 发送一条请求消息给 Server，这个时候 Client 就会等待 Server 处理该请求。这段时间内 Client 只有等待直到 Server 回复响应信息给 Client。Client 只有收到该响应信息后，才能发起第二条请求消息。这样无疑大大降低了系统的性能。

而如果是异步：

Client 发送一条请求消息给 Server，Client 并不等待 Server 的处理结果，而是继续发送第二条甚至更多的请求消息。Server 会将这些请求都存入队列，逐条处理，并将处理完的结果回复给 Client。这样一来，Client 就可以不用等待，效率大大提高。

阻塞调用是指调用结果返回之前，当前线程会被挂起。函数或方法只有在得到结果之后才会返回。阻塞和同步有点类似，但是同步调用的时候线程还是处于激活状态，而阻塞时线程会被挂起。

非阻塞调用和阻塞的概念相对应，指在不能立刻得到结果之前，该函数或方法不会阻塞当前线程而是立刻返回。

清单 1. 传统的网络应用代码

try { ServerSocket server = new ServerSocket(9080); while (true) { Socket client = server.accept(); new Thread(new SocketHandle(client)).start(); } } catch (IOException e) { e.printStackTrace(); }

相信只要写过网络应用程序的朋友，应该对这样的结构再熟悉不过了。Accept 后线程被挂起，等待一个客户发出请求，而后创建新线程来处理请求。当新线程处理客户请求时，起初的线程循环回去等待另个客户请求。在这个并发模型中，对每个客户都创建了一个线程。其优点在于等待请求的线程只需要做很少的工作，而大部分的时间，该线程在休眠，因为 recv 处于阻塞状态。如前文所述，创建线程的开销远远大于程序员的预计，尤其是在并发量巨大的情况下，这种传统的并发模型效率极端低下。

解决这个问题的方法之一就是 IOCP，说白了 IOCP 就是一个消息队列。我们设想一下，如果事先开好 N 个线程，让它们 hold 住，将所有用户的请求都投递到一个消息队列中去。让后这 N 个线程逐一从消息队列中去取出消息并加以处理。这样一来，就可以避免对没有用户请求都开新线程，不仅减少了线程的资源，也提高了线程的利用率。

---

回页首

IOCP 实现的基本步骤

那么 IOCP 完成端口模型又是怎样实现的呢？首先我们创建一个完成端口 CreateIOCompletionPort，然后再创建一个或多个工作线程，并指定它们到这个完成端口上去读取数据。再将远程连接的套接字句柄关联到这个完成端口。工作线程调用 getQueuedCompletionStatus 方法在关联到这个完成端口上的所有套接字上等待 I/O 的完成，再判断完成了什么类型的 I/O，然后接着发出 WSASend 和 WSARecv，并继续下一次循环阻塞在 getQueuedCompletionStatus。

具体的说，一个完成端口大概的处理流程包括：

1. 创建一个完成端口；

   Port port = createIoCompletionPort(INVALID_HANDLE_VALUE, 0, 0, fixedThreadCount());

   
   
2. 创建一个线程 ThreadA；
3. ThreadA 线程循环调用 GetQueuedCompletionStatus 方法来得到 I/O 操作结果，这个方法是一个阻塞方法；

   While(true){ getQueuedCompletionStatus(port, ioResult); }

   
   
4. 主线程循环调用 accept 等待客户端连接上来；
5. 主线程 accept 返回新连接建立以后，把这个新的套接字句柄用 CreateIoCompletionPort 关联到完成端口，然后发出一个异步的 Read 或者 Write 调用，因为是异步函数，Read/Write 会马上返回，实际的发送或者接收数据的操作由操作系统去做。

   if (handle != 0L) { createIoCompletionPort(handle, port, key, 0); }

   
   
6. 主线程继续下一次循环，阻塞在 accept 这里等待客户端连接。
7. 操作系统完成 Read 或者 Write 的操作，把结果发到完成端口。
8. ThreadA 线程里的 GetQueuedCompletionStatus() 马上返回，并从完成端口取得刚完成的 Read/Write 的结果。
9. 在 ThreadA 线程里对这些数据进行处理 ( 如果处理过程很耗时，需要新开线程处理 )，然后接着发出 Read/Write，并继续下一次循环阻塞在 GetQueuedCompletionStatus() 这里。