高性能服务器交互iocp系统设计,高性能服务器开发－iocp

在windows下开发高性能服务器，通常采用的是iocp的模式。下面讨论几个常见的问题、解决方式。

1、WSANOBUF问题

假如我们有10000个客户端socket连接，为了接收他们发送过来的数据，我们需要预先投递10000个WSARecv。

假如每个异步读需要应用层程序员提供10k的缓冲区，则一共需要的用户缓冲区为 10000*10k=97M

内存。windows要求这97M数据必须被OS“锁定”，意思大体是需要占用大量的OS的资源了。所以程序很可能会因为10000个客户同时连接，而耗尽资源。WSAENOBUF错误同此有关。

解决方法是投递0字节数请求的WSARecv。伪代码如下：

WSABUF DataBuf;

DataBuf.len=0;

DataBuf.buf=0;

WSARecv(socket, &DataBuf, 1,...);

当有数据到来时，这个异步IO会从角色2线程中得到结果。由于它是0字节的读，所以它没有触碰任何socket缓冲区的到来的任何数据。我们付出很小的成本(大约每个连接节省了10k)就能知道哪个客户端的数据到来了。别小看了每个连接节省了这么点资源，连接数大了节约的总量就很可观了。如果客户端数量很少，这个技巧就没什么意思了。

2、OnOrderRead的问题

3、多次投递的处理

4、如何优雅的杀死线程(或者退出iocp)

PostQueuedCompletionStatus函数会向{IOCP完成队列C}中push进去一条记录。这样角色2线程就能获得这个“虚伪或模拟”的异步IO完成事件。为什么要“假冒”一条{IOCP完成队列C}的条目呢？用处吗，程序员自己去想吧(意思是用处多多了)。一般来说，我们用它“优雅的杀死角色2线程”。伪代码如下：

typedef struct

{

OVERLAPPED

Overlapped;

OP_CODE

op_type;

...

} PER_IO_DATA;

PER_IO_DATA* PerIOData = ...

PerIOData->op_type = OP_KILL; //操作类型是杀死线程

PostQueuedCompletionStatus(...PerIOData...);

//如果有N个角色2线程，则需要调用N次，这样{IOCP完成队列C}中才能有N个这个的条目

5、getqueuedcompletionstatus()是否需要互斥？

这个不需要的。

6、错误处理：包含995、64之类的

GetQueuedCompletionStatus函数的错误处理比较复杂。

1 如果GetQueuedCompletionStatus返回false：

1.1 如果Overlapped指针非空

恭喜你，你投递的异步IO获得结果了，只不过是失败的结果。好孬也终于回来个信儿了。

这可能是socket连接断了等等。

1.1.1

如果GetLastError获得的错误号为ERROR_OPERATION_ABORTED

一定是有东西调用了CancelIO(socket)了。所有同这个socket相关的异步IO请求都会被取消。

1.1.2 如果GetLastError 获得的错误号为其他的东西

可能是IO没成功，如socket连接断开了等等。

1.2 如果Overlapped指针空

这可不是好消息，因为这意味着IOCP本身有重大故障了。比如我们意外的把IOCP的句柄CloseHandle了。

1.2.1

如果GetLastError获得的错误号为WAIT_TIMEOUT

可能GetQueuedCompletionStatus设置的超时参数dwMilliseconds不是INFINITE。我们继续调用GetQueuedCompletionStatus重新等待吧。

1.2.1

如果GetLastError获得的错误号ERROR_ABANDONED_WAIT_0, 或者其他

IOCP本身都完蛋了，角色2线程应另找东家了，或者就地自我了断算了。

2 如果GetQueuedCompletionStatus返回true：

恭喜你，异步IO成功了。

通过lpNumberOfBytes,

lpCompletionKey, and lpOverlapped这三个参数获得详细信息。

lpNumberOfBytes：实际传输的字节数。(可能比需要传输的字节数少)

lpCompletionKey：这就是著名的PerHandleData，可以知道这是哪个socket连接的。

lpOverlapped：

这就是著名的PER_IO_DATA, 同某次异步IO调用关联，

比如某次WSASend(Overlapped参数=0x123)调用，这里能重新拿到lpOverlapped==0x123。

我们可以根据这个指针，得知这个IO结果是对应着哪次WSASend()调用的结果。

我满以为这个错误处理天衣无缝，直到有一次测试。我对一个socke投递了100个WSARecv。当我故意把客户端关闭后，这些异步IO不出意外的都在角色2线程的GetQueuedCompletionStatus函数处获得结果了。令我吃惊的是，GetQueuedCompletionStatus返回为TRUE!!!，并且GetLastError()返回值是0!!!

令我欣慰的是lpNumberOfBytes值为0(否则真见鬼了)。所以看到GetQueuedCompletionStatus返回true，不要高兴的太早了。

2.1

把lpOverlapped指针解释成PER_IO_DATA数据结构。如果PerIOData->op_type

== OP_KILL，可能这个是PostQueuedCompletionStatus伪造的一个IO完成事件。

2.2

判断是否(lpNumberOfBytes==0)。如果这个IO结果的确是某个WSAxxx()的结果，而不是PostQueuedCompletionStatus伪造的，则这个IO对应的socket可能断了。

2.3 (lpNumberOfBytes>0)

，这才是真正的IO完成的事件呢。可能99.9%的机会，分支跑到这里的。

【在同一个socket上一次投递多个异步IO】

一次投递多个WSASend(1234,&Buff1,...);

WSASend(1234,&Buff2,...); ... 好像没问题。

如果一次投递多个WSARecv(1234,&Buff1,...);WSARecv(1234,&Buff2,...);好像有些需要阐明的问题。

第一：Windows保证按照你投递WSARecv的顺序，把网络上到达的数据按先后顺序放入Buff1,Buff2。

如果网络上到来的数据为

AAAAUUUU, 假设Buff1长度4，Buff2长度4，

则保证Buff1获得AAAA,Buff2获得UUUU

第二：如果有多个角色2线程，可能由于线程调度的“竞争条件race condition”，

某线程首先执行Buff2的完成处理过程。

如果我在角色2线程中，打印出收到的数据，可能打印出如下结果：UUUUAAAA。这绝不是违反了TCP协议，

而是多线程的问题。其实解决方案很简单。说者费事，上伪代码

typedef struct

{

OVERLAPPED

Overlapped;

...

int

Package_Number; //我对每一次IO，夹带本次调用顺序号

...

} PER_IO_DATA;

PER_IO_DATA* PerIOData1=...

PerIOData1->Package_Number = 1 ; //第一次调用

WSARecv(1234, &Buff1,...PerIOData1...);

PER_IO_DATA* PerIOData2=...

PerIOData1->Package_Number = 2 ; //第二次调用

WSARecv(1234, &Buff2,...PerIOData2...);

我们需要维护某种数据结构，记住我们发出了两个WSARecv。

当收到IO结果后，程序需要判断，只有1,2两个调用都从角色2线程获得结果后，才能按顺序把Buff1和Buff2拼接，就是符合顺序的AAAAUUUU。当然，还有其他更好的方式，这里只展示基本原理。

第三：真有必对同一个socket一次投递多个WSARecv吗？

这个问题同【IOCP系统资源耗尽的问题】，不矛盾。我们假设在投递多个WSARecv时，已经预见到网络上将到来某个socket的大量数据。 根据网络资料介绍，这样可以充分发挥多CPU并发运算的能力。我想在双核CPU机器上，一个CPU处理Buff1，同时另一个CPU处理Buff2。

如果是少量客户端连接，每个连接可能突然发生大量数据的传送，这个做法可能能加快从Socket缓冲区拷贝数据到应用程序Buff的速度(个人揣测)。

如果是大量客户端(10000)连接，每个连接传送的数据量很少，这个做法我个人认为没什么意义。我想CPU数量就2个，不会轻易就闲下来吧？

有一个重要原因，需要投递多个buffer给windows。假如我预计到某个socket一次传过来2M的数据，而

我没有2M大小的buffer，我只有1M大小的buffer。我需要先调用一次WSARecv,等待收完这1M数据后，再发一个

WSARecv。或者我用其他方法，提供给windows系统2个1M的buff。

第四：假设我们真需要一次投递多个Buff，接收数据，有必要用多次WSARecv调用吗？

这里有个可能的替代做法，上伪代码：

char *raw1 = new

char[BUFF_SIZE];

WSABUF[2]

wsabuf;

wsabuf[0].buf =

raw1 ;

wsabuf[0].len =

BUFF_SIZE;

char *raw2 = new

char[BUFF_SIZE];

wsabuf[1].buf =

raw2 ;

wsabuf[1].len =

BUFF_SIZE;

WSARecv(1234,

&wsabuf, 2 ... );

//重点在参数2上，指示了WSABUF结构体的个数是2个。一般大量IOCP的例子里这个参数都是1

这个方法我认为更简单，不知道是我自己“2”还是网上的其他人“2”，一次发出多个WSARecv，把这些分散的IO收集起来也是费事的事。UNIX系统的scatter-gather

IO类似于这个机制

结论：如果出现995等错误，就可能是socket本身出现了问题，这时候需要在错误的地方将这个socket释放；

7、如何释放overlapped的数据、防止多次释放？？

如果出现错误，我们在App层释放，但这个消息会在getqueuedcompletionstatus()也出现，这样就可能出现多次释放，产生错误。

解决方式是：统一处理资源的释放，在getqueuedcompletionstatus()来做处理。

8、accept, wsaaccept, acceptex的区别？

经常在win下面做网络通信的开发，除了accept外还真是很少用另外2个。看来是有必要了解清楚。

简单的理解为：

accept: 遵循bsd规范，是标准的bsd socket。仅仅是接受连接来的socket，是同步的操作；

WSAAccept: 是微软对accept的封装，提供了条件判断函数，也是同步操作；

AcceptEx：支持先创建socket，然后associate；支持一次Accept同时能得到客户端发送来的第一次数据；支持IOCP，异步操作。