深入剖析IOCP：从原理到实践

IOCP（Input/Output Completion Ports，输入/输出完成端口）是Windows操作系统中一种用于处理高效异步I/O操作的机制。它广泛应用于服务器端应用程序，如Web服务器和数据库服务器，能够有效处理大量的并发I/O请求。

1. 基本概念

• 异步I/O操作：在异步I/O操作中，操作的发起者（通常是线程）在I/O操作发起后，不需要等待操作完成，而是可以立即进行其他任务。当I/O操作完成时，操作系统会通知发起者。
• 完成端口：完成端口是操作系统提供的一种机制，用于管理异步I/O操作的完成状态。当一个I/O操作完成后，操作系统将该操作的结果放入完成端口，供工作线程处理。

2. IOCP的工作流程

1. 创建完成端口：应用程序首先通过调用CreateIoCompletionPort函数创建一个完成端口。

2. 将文件句柄与完成端口关联：应用程序将文件、套接字或其他I/O对象的句柄与完成端口关联。这样，当与这些句柄相关联的I/O操作完成时，操作系统会将完成通知发送到这个完成端口。

3. 启动异步I/O操作：应用程序通过异步方式发起I/O操作。例如，通过调用ReadFile、WriteFile或WSARecv等函数，同时传递一个重叠结构（OVERLAPPED）。这意味着调用线程在I/O操作开始后可以立即返回并处理其他任务。

4. 工作线程等待I/O完成：应用程序通常会创建一个或多个工作线程来处理I/O完成事件。这些线程调用GetQueuedCompletionStatus函数，该函数会一直阻塞，直到有I/O操作完成。

5. I/O操作完成并通知工作线程：当与完成端口关联的句柄上的I/O操作完成时，操作系统会将一个完成包（包含I/O操作的状态、字节数、重叠结构等信息）放入完成端口。等待的工作线程被唤醒，处理完成包中的数据。

6. 处理完成事件：工作线程根据从完成端口接收到的完成包，处理完成的I/O操作，完成之后继续调用GetQueuedCompletionStatus等待下一个I/O完成事件。

3. 优势

• 高并发处理：IOCP的设计允许一个线程处理多个I/O请求，这样可以减少线程上下文切换的开销，提高系统的并发处理能力。
• 系统资源高效利用：IOCP允许创建的线程数少于并发请求的数目，通过高效调度线程避免不必要的资源浪费。
• 可伸缩性：IOCP可以处理大量并发的I/O操作，适合构建高性能的网络服务器和数据库服务器。

4. 关键函数

• CreateIoCompletionPort: 创建完成端口并将文件句柄与之关联。
• GetQueuedCompletionStatus: 阻塞等待一个完成的I/O操作。
• PostQueuedCompletionStatus: 手动向完成端口发送一个完成状态，用于通知工作线程进行某些操作（如退出等）。

5. 示例代码框架

// 创建完成端口
HANDLE hCompletionPort = CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, 0);

// 将文件或套接字句柄与完成端口关联
HANDLE hFile = CreateFile(...);
CreateIoCompletionPort(hFile, hCompletionPort, (ULONG_PTR)hFile, 0);

// 发起异步I/O操作
OVERLAPPED overlapped = { 0 };
ReadFile(hFile, buffer, sizeof(buffer), NULL, &overlapped);

// 工作线程等待并处理I/O完成事件
DWORD bytesTransferred;
ULONG_PTR completionKey;
LPOVERLAPPED pOverlapped;
while (GetQueuedCompletionStatus(hCompletionPort, &bytesTransferred, &completionKey, &pOverlapped, INFINITE)) {
    // 处理完成的I/O操作
    if (pOverlapped) {
        // 处理完成的I/O操作
    }
}

1. CreateIoCompletionPort：

   • 第一步是创建一个IOCP。通过调用 CreateIoCompletionPort 函数，系统创建一个IOCP，并返回一个句柄供后续使用。

2. socket 与 IOCP 绑定：

   • 创建完IOCP之后，下一步是将 socket 与这个IOCP绑定。这也是通过 CreateIoCompletionPort 函数实现的，但此时需要传入 socket 的句柄。这样，当该 socket 上的异步I/O操作完成后，完成通知将被投递到这个IOCP。

3. 投递异步操作：

   • 这里展示了几种常见的异步操作，例如 AcceptEx、WSARecv、WSASend 和 ConnectEx。这些操作都是非阻塞的，操作一旦发起，程序就不需要等待操作完成，而是可以继续执行其他任务。

4. GetQueuedCompletionStatus：

   • 当异步操作完成后，IOCP会将完成事件投递到完成端口。此时，工作线程通过调用 GetQueuedCompletionStatus 函数来获取完成事件。这个函数会阻塞当前线程，直到有I/O操作完成并投递到完成端口。然后，工作线程可以处理这个完成事件，继续执行其他操作。

请求队列和完成队列的概念：

• 请求队列：表示当前等待处理的I/O请求。
• 完成队列：表示已经完成的I/O请求，等待被处理。

6.重叠IO

1. 什么是重叠I/O？

• 重叠I/O是Windows操作系统中的一种异步I/O模式。在这种模式下，I/O操作与应用程序的执行是并行进行的，应用程序不必等待I/O操作完成就可以继续执行其他任务。重叠I/O通过使用一个OVERLAPPED结构来保存异步操作的状态和数据。

2. IOCP如何使用重叠I/O？

• 发起异步操作：在使用IOCP时，当你发起一个异步I/O操作（例如ReadFile、WriteFile、WSARecv等）时，你需要传递一个OVERLAPPED结构。这是重叠I/O操作的核心，它保存着操作的状态信息。

• OVERLAPPED结构：这个结构包含了操作的位置、事件句柄等信息。当I/O操作完成时，系统会通过这个结构来保存和传递相关的完成信息。

• I/O操作的非阻塞特性：调用这些函数时，I/O操作不会阻塞调用线程，而是立即返回。操作系统会在后台执行这个I/O操作。

3. 完成端口与重叠I/O的结合

• 当I/O操作通过重叠I/O模式发起后，IOCP机制会将这个操作与一个完成端口绑定。当I/O操作完成时，系统会将包含重叠结构的完成消息投递到相应的IOCP队列中。

• GetQueuedCompletionStatus获取完成信息：在你的工作线程中，你会调用GetQueuedCompletionStatus来获取这些完成的I/O操作。这个函数会从IOCP队列中取出一个完成包（包括I/O操作完成的状态、字节数、以及OVERLAPPED结构等），然后你可以根据这些信息处理完成的I/O操作。

4. 总结

• 重叠I/O是IOCP实现异步I/O操作的基础。通过OVERLAPPED结构，IOCP可以在操作完成后通知应用程序，并传递完成信息。
• 工作流：工作线程等待I/O操作完成（通过GetQueuedCompletionStatus），而I/O操作本身是通过重叠I/O机制执行的。这种设计使得应用程序可以高效地处理大量并发的I/O请求，而无需为每个请求创建一个线程。

https://xxetb.xetslk.com/s/2sff5t