IOCP服务器设计（via Modern C++）

IOCP服务器设计（上篇）

鸣谢
感谢PiggyXP兄的雄文《手把手叫你玩转网络编程系列之三——完成端口(Completion Port)详解》提供的思路

目录

前言↑

C++11标准提出来有些年头了，十一放假没事研究了一下IOCP，想着能不能用C++11实现一个高性能的服务器。当然，目前有许多十分成熟的C++网络库，比如ACE，asio等等。但是如果想深入了解其本质，在Windows平台下就必须了解Socket结合IOCP的使用原理。

本文尽可能把笔者在使用C++11实现IOCP服务器的过程中遇到的困难和问题展现给大家，让大家学习起来少走些弯路。由于代码比较底层，所以有些细节希望大家在看本文和代码的时候能够揣摩和理解。本文假定读者总体把握了PiggyXP原文的相关内容并具有相当的Window编程的相关知识（熟悉WinSock2库基本函数的使用，Windows多线程的基本概念等）、C++11/03编程基础（STL，仿函数等）。

在每一节标题后都有箭头指向目录，文档某些位置可能会有返回箭头（返回到可能你在阅读的地方），希望能帮助大家更好的理解本文。

本文代码遵循Apache License 2.0协议，欢迎各位大神拍砖。分享带来进步，如需转载请标明作者和出处，谢谢！

温馨提示：由于笔者水平有限，虽经过仔细调试，但本文代码仍然可能存在笔者未知的Bug或者性能缺陷。请大家发现问题后能够及时联系我，让我们共同进步。

---

开发环境↑

表1 开发环境

软件/系统	版本
操作系统	Windows 10 v1607 x64
IDE/编译器	Visual Studio 2015/CL 19
Win SDK	10.0.10240
编程语言	C++11

---

IOCP相关知识↑

本节参考文献
Nasarre C, Richter J. Windows® via C/C++[M]. Pearson Education, 2007: 291-316.

引入

在生活中，异步的概念是很常见的。比如你洗衣服时突然女朋友（程序员有女朋友？）来了，你从洗衣间出去招待，而洗衣机则按照你的指令继续在工作。当你招呼完女朋友回到洗衣间的时候，衣服已经洗好了。也就是在女朋友来的时间点，你与洗衣机分离，它按照你的指令在完成工作，而你却可以处理其他更需要处理的事情。当你处理完回来后，洗衣机可能早已经完成了它的工作，你只需要将衣服取出晾起来就可以了。而同步就是你家没有洗衣机，当女朋友来的时候要么中断洗衣服去招待女朋友，要么让女朋友等待自己把衣服洗完，一件事情只能在另一件事情之后发生。这样，大家就能明显看出来有台洗衣机的好处了。

不过如何知道衣服洗完了呢？Windows牌洗衣机给我们提供了这么四种方式：

表2 Windows 提供的4种异步方式

方式	解释	相关技术
LED灯	洗完一件衣服就亮灯，但只有一个灯，其他人可以帮忙处理	触发设备内核对象
高级LED灯	洗完一件衣服就亮灯，可以有多个灯，其他人可以帮忙处理	触发事件内核对象
发送短信	洗完一件衣服就发送一条短信，有一个短信列表，但只有你能够处理	可提醒IO（APC）
群发短信	洗完一件衣服就发送一条短信，有一个短信列表，其他人可以帮忙处理	IO完成端口（IOCP）

这样，大家就很明白IOCP的好处了：不需要去时刻看着灯亮不亮；短信到了可以去处理也可以不去处理；不仅你能处理，还有家人也能帮你处理。

触发设备内核对象、触发事件内核对象和可提醒IO就不展开讨论了，有兴趣的朋友可以查阅本节列出的参考文献，下面进入正题。

IOCP状态机

这一小节可能比较难，希望大家能够耐心看下去，因为要真正掌握IOCP就必须弄清楚它内在的原理。先给出IOCP的状态机，如图1所示：

图1 IOCP状态机

下面给出图中各组件的相关说明：

表3 IOCP相关组件说明

组件	简要解释
等待队列	当线程池中的某线程在等待IO操作时（调用GetQueuedCompletionStatus函数），IOCP将线程加入等待队列。 IOCP在IO操作完成后将返回结果加入完成队列，由等待队列中的最后一个加入的线程处理。
已释放列表	当等待的线程处理完IO操作后或是从暂停状态被唤醒都会加入此列表。 当线程再次调用GetQueuedCompletionStatus函数将使自己再次加入等待队列；将自身挂起将加入已暂停列表。
已暂停列表	当已释放列表中的线程挂起时将加入已暂停列表；当挂起线程被激活时线程加入已释放列表。
完成队列	IOCP完成指定IO操作后将执行结果插入完成队列。这个队列时先进先出的。
IOCP设备列表	即要进行异步IO操作的设备列表（可以是文件，也可以是套接字），所有的IO操作都围绕这些设备进行。

这样，整个IOCP服务器创建的流程就很明了了：↩

1. 创建一个新的完成端口，处理所有的IO请求。
2. 创建一个线程池，此时线程处于已释放列表。
3. 创建一个Socket并将其绑定在创建的完成端口上，作为IO操作的实体。利用这个套接字进行Listen操作，并向第1步创建的完成端口中投递Accept消息，将第2步创建线程置于等待队列中等待客户端连接。
4. 当客户端连接后，IOCP将在IO完成队列插入Accept，等待队列中的线程将得到Accept，并创建新的Socket作为与客户端通信的套接字，并将其绑定在第1步创建好的完成端口上。
5. 此后，无论是Recv，Send都照此步骤进行即可。

这里有几个细节需要注意：

1. 最合适的线程数应当是多于处理器核心数的

多线程优化理论告诫我们，为了避免ring0与ring3之间的上下文切换，我们应当将线程数设置为处理器核数。但是微软在设计IOCP的时候想到了这样一个问题：考虑到线程挂起，如果按照理论值设置线程数，将有可能出现实际工作线程数小于CPU所能接受的最大工作线程数，这样就无法有效发挥多线程的优势。因此，最理想的线程数量应当多于处理器核心数的，经验值为两倍核心数。

2. 等待队列是后入先出的

之所以这样设计也是出于性能调优的考虑。当某线程处理完某批IO数据后重新加入等待队列，由于LIFO机制，当完成队列中又存在有新的