高性能服务器开发-iocp

在windows下开发高性能服务器,通常采用的是iocp的模式。下面讨论几个常见的问题、解决方式。

1、WSANOBUF问题

假如我们有10000个客户端socket连接,为了接收他们发送过来的数据,我们需要预先投递10000个WSARecv。
假如每个异步读需要应用层程序员提供10k的缓冲区,则一共需要的用户缓冲区为 10000*10k=97M 内存。windows要求这97M数据必须被OS“锁定”,意思大体是需要占用大量的OS的资源了。所以程序很可能会因为10000个客户同时连接,而耗尽资源。WSAENOBUF错误同此有关。
解决方法是投递0字节数请求的WSARecv。伪代码如下:

WSABUF DataBuf;
DataBuf.len=0;
DataBuf.buf=0;
WSARecv(socket, &DataBuf, 1,...);
当有数据到来时,这个异步IO会从角色2线程中得到结果。由于它是0字节的读,所以它没有触碰任何socket缓冲区的到来的任何数据。我们付出很小的成本(大约每个连接节省了10k)就能知道哪个客户端的数据到来了。别小看了每个连接节省了这么点资源,连接数大了节约的总量就很可观了。如果客户端数量很少,这个技巧就没什么意思了。

2、OnOrderRead的问题

3、多次投递的处理

4、如何优雅的杀死线程(或者退出iocp)

PostQueuedCompletionStatus函数会向{IOCP完成队列C}中push进去一条记录。这样角色2线程就能获得这个“虚伪或模拟”的异步IO完成事件。为什么要“假冒”一条{IOCP完成队列C}的条目呢?用处吗,程序员自己去想吧(意思是用处多多了)。一般来说,我们用它“优雅的杀死角色2线程”。伪代码如下:

typedef struct
{
   OVERLAPPED Overlapped;
   OP_CODE op_type; 
   ...
} PER_IO_DATA;
PER_IO_DATA* PerIOData = ...
PerIOData->op_type = OP_KILL; //操作类型是杀死线程
PostQueuedCompletionStatus(...PerIOData...); 
//如果有N个角色2线程,则需要调用N次,这样{IOCP完成队列C}中才能有N个这个的条目

5、getqueuedcompletionstatus()是否需要互斥?

这个不需要的。

6、错误处理:包含995、64之类的

GetQueuedCompletionStatus函数的错误处理比较复杂。

1 如果GetQueuedCompletionStatus返回false:
1.1 如果Overlapped指针非空
    恭喜你,你投递的异步IO获得结果了,只不过是失败的结果。好孬也终于回来个信儿了。
    这可能是socket连接断了等等。
    1.1.1 如果GetLastError获得的错误号为ERROR_OPERATION_ABORTED
          一定是有东西调用了CancelIO(socket)了。所有同这个socket相关的异步IO请求都会被取消。
    1.1.2 如果GetLastError 获得的错误号为其他的东西
          可能是IO没成功,如socket连接断开了等等。
1.2 如果Overlapped指针空
    这可不是好消息,因为这意味着IOCP本身有重大故障了。比如我们意外的把IOCP的句柄CloseHandle了。
    1.2.1 如果GetLastError获得的错误号为WAIT_TIMEOUT
          可能GetQueuedCompletionStatus设置的超时参数dwMilliseconds不是INFINITE。我们继续调用GetQueuedCompletionStatus重新等待吧。
    1.2.1 如果GetLastError获得的错误号ERROR_ABANDONED_WAIT_0, 或者其他
          IOCP本身都完蛋了,角色2线程应另找东家了,或者就地自我了断算了。
2 如果GetQueuedCompletionStatus返回true:
  恭喜你,异步IO成功了。
  通过lpNumberOfBytes, lpCompletionKey, and lpOverlapped这三个参数获得详细信息。
  lpNumberOfBytes:实际传输的字节数。(可能比需要传输的字节数少)
  lpCompletionKey:这就是著名的PerHandleData,可以知道这是哪个socket连接的。
  lpOverlapped:   这就是著名的PER_IO_DATA, 同某次异步IO调用关联,
        比如某次WSASend(Overlapped参数=0x123)调用,这里能重新拿到lpOverlapped==0x123。
我们可以根据这个指针,得知这个IO结果是对应着哪次WSASend()调用的结果。         

我满以为这个错误处理天衣无缝,直到有一次测试。我对一个socke投递了100个WSARecv。当我故意把客户端关闭后,这些异步IO不出意外的都在角色2线程的GetQueuedCompletionStatus函数处获得结果了。令我吃惊的是,GetQueuedCompletionStatus返回为TRUE!!!,并且GetLastError()返回值是0!!!
令我欣慰的是lpNumberOfBytes值为0(否则真见鬼了)。所以看到GetQueuedCompletionStatus返回true,不要高兴的太早了。

2.1 把lpOverlapped指针解释成PER_IO_DATA数据结构。如果PerIOData->op_type == OP_KILL,可能这个是PostQueuedCompletionStatus伪造的一个IO完成事件。
2.2 判断是否(lpNumberOfBytes==0)。如果这个IO结果的确是某个WSAxxx()的结果,而不是PostQueuedCompletionStatus伪造的,则这个IO对应的socket可能断了。
2.3 (lpNumberOfBytes>0) ,这才是真正的IO完成的事件呢。可能99.9%的机会,分支跑到这里的。
 
【在同一个socket上一次投递多个异步IO】
一次投递多个WSASend(1234,&Buff1,...); WSASend(1234,&Buff2,...); ... 好像没问题。
如果一次投递多个WSARecv(1234,&Buff1,...);WSARecv(1234,&Buff2,...);好像有些需要阐明的问题。

第一:Windows保证按照你投递WSARecv的顺序,把网络上到达的数据按先后顺序放入Buff1,Buff2。
      如果网络上到来的数据为 AAAAUUUU, 假设Buff1长度4,Buff2长度4,
      则保证Buff1获得AAAA,Buff2获得UUUU
第二:如果有多个角色2线程,可能由于线程调度的“竞争条件race condition”,
      某线程首先执行Buff2的完成处理过程。
      如果我在角色2线程中,打印出收到的数据,可能打印出如下结果:UUUUAAAA。这绝不是违反了TCP协议,       而是多线程的问题。其实解决方案很简单。说者费事,上伪代码
typedef struct
{
   OVERLAPPED Overlapped;
   ...
   int Package_Number; //我对每一次IO,夹带本次调用顺序号
   ...
} PER_IO_DATA;

PER_IO_DATA* PerIOData1=...
PerIOData1->Package_Number = 1 ; //第一次调用
WSARecv(1234, &Buff1,...PerIOData1...);

PER_IO_DATA* PerIOData2=...
PerIOData1->Package_Number = 2 ; //第二次调用
WSARecv(1234, &Buff2,...PerIOData2...);

我们需要维护某种数据结构,记住我们发出了两个WSARecv。
当收到IO结果后,程序需要判断,只有1,2两个调用都从角色2线程获得结果后,才能按顺序把Buff1和Buff2拼接,就是符合顺序的AAAAUUUU。当然,还有其他更好的方式,这里只展示基本原理。

第三:真有必对同一个socket一次投递多个WSARecv吗?
      这个问题同【IOCP系统资源耗尽的问题】,不矛盾。我们假设在投递多个WSARecv时,已经预见到网络上将到来某个socket的大量数据。 根据网络资料介绍,这样可以充分发挥多CPU并发运算的能力。我想在双核CPU机器上,一个CPU处理Buff1,同时另一个CPU处理Buff2。
      如果是少量客户端连接,每个连接可能突然发生大量数据的传送,这个做法可能能加快从Socket缓冲区拷贝数据到应用程序Buff的速度(个人揣测)。
      如果是大量客户端(10000)连接,每个连接传送的数据量很少,这个做法我个人认为没什么意义。我想CPU数量就2个,不会轻易就闲下来吧?
      有一个重要原因,需要投递多个buffer给windows。假如我预计到某个socket一次传过来2M的数据,而
我没有2M大小的buffer,我只有1M大小的buffer。我需要先调用一次WSARecv,等待收完这1M数据后,再发一个
WSARecv。或者我用其他方法,提供给windows系统2个1M的buff。

第四:假设我们真需要一次投递多个Buff,接收数据,有必要用多次WSARecv调用吗?
      这里有个可能的替代做法,上伪代码:
      char *raw1 = new char[BUFF_SIZE];
      WSABUF[2] wsabuf;
      wsabuf[0].buf = raw1 ;
      wsabuf[0].len = BUFF_SIZE;

      char *raw2 = new char[BUFF_SIZE];
      wsabuf[1].buf = raw2 ;
      wsabuf[1].len = BUFF_SIZE;

      WSARecv(1234, &wsabuf, 2 ... );  
      //重点在参数2上,指示了WSABUF结构体的个数是2个。一般大量IOCP的例子里这个参数都是1
      
      这个方法我认为更简单,不知道是我自己“2”还是网上的其他人“2”,一次发出多个WSARecv,把这些分散的IO收集起来也是费事的事。UNIX系统的scatter-gather IO类似于这个机制
 
结论:如果出现995等错误,就可能是socket本身出现了问题,这时候需要在错误的地方将这个socket释放;
7、如何释放overlapped的数据、防止多次释放??
如果出现错误,我们在App层释放,但这个消息会在getqueuedcompletionstatus()也出现,这样就可能出现多次释放,产生错误。
解决方式是:统一处理资源的释放,在getqueuedcompletionstatus()来做处理。
 
8、accept, wsaaccept, acceptex的区别?
经常在win下面做网络通信的开发,除了accept外还真是很少用另外2个。看来是有必要了解清楚。
简单的理解为:
accept: 遵循bsd规范,是标准的bsd socket。仅仅是接受连接来的socket,是同步的操作;
WSAAccept: 是微软对accept的封装,提供了条件判断函数,也是同步操作;
AcceptEx:支持先创建socket,然后associate;支持一次Accept同时能得到客户端发送来的第一次数据;支持IOCP,异步操作。
阅读更多
个人分类: 网络编程深入研究
所属专栏: 网络编程
上一篇勒索病毒WannaCry深度技术分析——详解传播、感染和危害细节
下一篇异步socket优雅的关闭-CancelIO和SO_LINGER
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭