windows 下 IOCP（I/O Completion Port，I/O完成端口）

IOCP（I/O Completion Port，I/O完成端口）是性能最好的一种I/O模型。它是应用程序使用线程池处理异步I/O请求的一种机制。在处理多个并发的异步I/O请求时，以往的模型都是在接收请求是创建一个线程来应答请求。这样就有很多的线程并行地运行在系统中。而这些线程都是可运行的，Windows内核花费大量的时间在进行线程的上下文切换，并没有多少时间花在线程运行上。再加上创建新线程的开销比较大，所以造成了效率的低下。 

调用的步骤如下: 
抽象出一个完成端口大概的处理流程： 
1：创建一个完成端口。 
2：创建一个线程A。 
3：A线程循环调用GetQueuedCompletionStatus()函数来得到IO操作结果，这个函数是个阻塞函数。 
4：主线程循环里调用accept等待客户端连接上来。 
5：主线程里accept返回新连接建立以后，把这个新的套接字句柄用CreateIoCompletionPort关联到完成端口，然后发出一个异步的WSASend或者WSARecv调用，因为是异步函数，WSASend/WSARecv会马上返回，实际的发送或者接收数据的操作由WINDOWS系统去做。 
6：主线程继续下一次循环，阻塞在accept这里等待客户端连接。 
7：WINDOWS系统完成WSASend或者WSArecv的操作，把结果发到完成端口。 
8：A线程里的GetQueuedCompletionStatus()马上返回，并从完成端口取得刚完成的WSASend/WSARecv的结果。 
9：在A线程里对这些数据进行处理(如果处理过程很耗时，需要新开线程处理)，然后接着发出WSASend/WSARecv，并继续下一次循环阻塞在GetQueuedCompletionStatus()这里。 
归根到底概括完成端口模型一句话： 
我们不停地发出异步的WSASend/WSARecv IO操作，具体的IO处理过程由WINDOWS系统完成，WINDOWS系统完成实际的IO处理后，把结果送到完成端口上（如果有多个IO都完成了，那么就在完成端口那里排成一个队列）。我们在另外一个线程里从完成端口不断地取出IO操作结果，然后根据需要再发出WSASend/WSARecv IO操作。 

而IOCP模型是事先开好了N个线程，存储在线程池中，让他们hold。然后将所有用户的请求都投递到一个完成端口上，然后N个工作线程逐一地从完成端口中取得用户消息并加以处理。这样就避免了为每个用户开一个线程。既减少了线程资源，又提高了线程的利用率。

完成端口模型是怎样实现的呢？我们先创建一个完成端口（::CreateIoCompletioPort()）。然后再创建一个或多个工作线程，并指定他们到这个完成端口上去读取数据。我们再将远程连接的套接字句柄关联到这个完成端口（还是用::CreateIoCompletionPort()）。一切就OK了。 

工作线程都干些什么呢？首先是调用::GetQueuedCompletionStatus()函数在关联到这个完成端口上的所有套接字上等待I/O的完成。再判断完成了什么类型的I/O。一般来说，有三种类型的I/O，OP_ACCEPT，OP_READ和OP_WIRTE。我们到数据缓冲区内读取数据后，再投递一个或是多个同类型的I/O即可（::AcceptEx()、::WSARecv()、::WSASend()）。对读取到的数据，我们可以按照自己的需要来进行相应的处理。 

为此，我们需要一个以OVERLAPPED（重叠I/O）结构为第一个字段的per-I/O数据自定义结构。 

typedef struct _PER_IO_DATA 
{ 
        OVERLAPPED ol;       // 重叠I/O结构 
        char buf[BUFFER_SIZE];   // 数据缓冲区
        int nOperationType;         //I/O操作类型 
#define OP_READ 1 
#define OP_WRITE 2 
#define OP_ACCEPT 3 
} PER_IO_DATA, *PPER_IO_DATA; 

将一个PER_IO_DATA结构强制转化成一个OVERLAPPED结构传给::GetQueuedCompletionStatus()函数，返回的这个PER_IO_DATA结构的的nOperationType就是I/O操作的类型。当然，这些类型都是在投递I/O请求时自己设置的。 

这样一个IOCP服务器的框架就出来了。当然，要做一个好的IOCP服务器，还有考虑很多问题，如内存资源管理、接受连接的方法、恶意的客户连接、包的重排序等等。以上是个人对于IOCP模型的一些理解与看法，还有待完善。另外各Winsock API的用法参见MSDN。 


补充IOCP模型的实现： 

//创建一个完成端口 
HANDLE FCompletPort =CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0,0,0 ); 

//接受远程连接，并把这个连接的socket句柄绑定到刚才创建的IOCP上 
AConnect = accept(FListenSock, addr, len); 
CreateIoCompletionPort(AConnect, FCompletPort, NULL, 0 ); 

//创建CPU数*2 + 2个线程
SYSTEM_INFO si;
GetSystemInfo(&si);
for (inti=1;si.dwNumberOfProcessors*2+2;i++) 
{
   AThread =TRecvSendThread.Create( false ); 
  AThread.CompletPort = FCompletPort;//告诉这个线程，你要去这个IOCP去访问数据 
} 

OK，就这么简单，我们要做的就是建立一个IOCP，把远程连接的socket句柄绑定到刚才创建的IOCP上，最后创建n个线程，并告诉这n个线程到这个IOCP上去访问数据就可以了。

再看一下TRecvSendThread线程都干些什么：

voidTRecvSendThread.Execute(...)
{
   while(!self.Terminated) 
   {
     //查询IOCP状态（数据读写操作是否完成） 
    GetQueuedCompletionStatus( CompletPort, BytesTransd, CompletKey, POVERLAPPED(pPerIoDat),TIME_OUT ); 

     if(BytesTransd !=0) ....... 
      ....;//数据读写操作完成 

     //再投递一个读数据请求 
    WSARecv( CompletKey, &(pPerIoDat->BufData), 1, BytesRecv, Flags,&(pPerIoDat->Overlap), NULL ); 
   }
} 

读写线程只是简单地检查IOCP是否完成了我们投递的读写操作，如果完成了则再投递一个新的读写请求。
应该注意到，我们创建的所有TRecvSendThread都在访问同一个IOCP（因为我们只创建了一个IOCP），并且我们没有使用临界区！难道不会产生冲突吗？不用考虑同步问题吗？
呵呵，这正是IOCP的奥妙所在。IOCP不是一个普通的对象，不需要考虑线程安全问题。它会自动调配访问它的线程：如果某个socket上有一个线程A正在访问，那么线程B的访问请求会被分配到另外一个socket。这一切都是由系统自动调配的，我们无需过问。

实例:

简单实现，适合IOCP入门
参考：《WINDOWS网络与通信程序设计》

/******************************************************************
* 
* Copyright (c) 2008, xxxxx有限公司 
* All rights reserved. 
* 
* 文件名称：IOCPHeader.h 
* 摘   要： IOCP定义文件 
* 
* 当前版本：1.0 
* 作    者：吴会然 
* 完成日期：2008-9-16 
* 
* 取代版本： 
* 原 作者： 
* 完成日期： 
* 
******************************************************************/

#ifndef _IOCPHEADER_H_20080916_ 
#define _IOCPHEADER_H_20080916_

#include <WINSOCK2.H> 
#include <windows.h>

#define BUFFER_SIZE 1024

/******************************************************************
* per_handle 数据 
*******************************************************************/ 
typedef struct _PER_HANDLE_DATA 
{ 
    SOCKET     s;      // 对应的套接字句柄 
    sockaddr_in addr;   // 对方的地址

}PER_HANDLE_DATA, *PPER_HANDLE_DATA;

/******************************************************************
* per_io 数据 
*******************************************************************/ 
typedef struct _PER_IO_DATA 
{ 
    OVERLAPPEDol;                // 重叠结构 
    char       buf[BUFFER_SIZE];   // 数据缓冲区 
    int        nOperationType;     // 操作类型

#define OP_READ   1 
#define OP_WRITE 2 
#define OP_ACCEPT 3

}PER_IO_DATA, *PPER_IO_DATA;

#endif

/******************************************************************
* 
* Copyright (c) 2008, xxxxx有限公司 
* All rights reserved. 
* 
* 文件名称：main.cpp 
* 摘   要： iocp demo 
* 
* 当前版本：1.0 
* 作    者：吴会然 
* 完成日期：2008-9-16 
* 
* 取代版本： 
* 原 作者： 
* 完成日期： 
* 
******************************************************************/

#include <iostream> 
#include <string> 
#include "IOCPHeader.h" 
using namespace std;

DWORD WINAPI ServerThread( LPVOID lpParam );

int main( int argc, char *argv[] ) 
{ 
    //  
    WSADATA wsaData;

    if( 0 != WSAStartup( MAKEWORD( 2, 2 ),&wsaData ) ) 
    { 
        printf( "Using %s(Status:%s)\n", wsaData.szDescription, wsaData.szSystemStatus ); 
        printf( "with API versions:%d.%d to %d.%d", 
                LOBYTE( wsaData.wVersion), HIBYTE( wsaData.wVersion ), 
                LOBYTE( wsaData.wHighVersion), HIBYTE( wsaData.wHighVersion) );

        return -1; 
    } 
    else 
    { 
        printf("Windows sockets 2.2startup\n"); 
    } 
   //

    int nPort = 20055;

    // 创建完成端口对象 
    // 创建工作线程处理完成端口对象的事件 
    HANDLE hIocp = ::CreateIoCompletionPort(INVALID_HANDLE_VALUE, 0, 0, 0 ); 
    ::CreateThread( NULL, 0, ServerThread, (LPVOID)hIocp, 0, 0);

    // 创建监听套接字，绑定本地端口，开始监听 
    SOCKET sListen = ::socket( AF_INET,-SOCK_STREAM, 0 );

    SOCKADDR_IN addr; 
    addr.sin_family = AF_INET; 
    addr.sin_port = ::htons( nPort ); 
    addr.sin_addr.S_un.S_addr = INADDR_ANY; 
    ::bind( sListen, (sockaddr *)&addr, sizeof( addr ) ); 
    ::listen( sListen, 5 );

    printf( "iocp demostart......\n" );

    // 循环处理到来的请求 
    while ( TRUE ) 
    { 
        // 等待接受未决的连接请求 
        SOCKADDR_IN saRemote; 
        int nRemoteLen = sizeof( saRemote );
        SOCKET sRemote = ::accept( sListen,(sockaddr *)&saRemote, &nRemoteLen );

        // 接受到新连接之后，为它创建一个per_handle数据，并将他们关联到完成端口对象 
        PPER_HANDLE_DATA pPerHandle = (PPER_HANDLE_DATA )::GlobalAlloc( GPTR, sizeof( PPER_HANDLE_DATA ) ); 
        if( pPerHandle == NULL ) 
        { 
            break; 
        }

        pPerHandle->s= sRemote; 
        memcpy( &pPerHandle->addr,&saRemote, nRemoteLen );

       ::CreateIoCompletionPort( ( HANDLE)pPerHandle->s, hIocp, (DWORD)pPerHandle,0 );

        // 投递一个接受请求 
        PPER_IO_DATA pIoData = (PPER_IO_DATA )::GlobalAlloc( GPTR, sizeof( PPER_IO_DATA ) ); 
        if( pIoData == NULL ) 
        { 
            break; 
        }

       pIoData->nOperationType = OP_READ; 
        WSABUF buf; 
        buf.buf = pIoData->buf; 
        buf.len = BUFFER_SIZE; 
         
        DWORD dwRecv = 0; 
        DWORD dwFlags = 0;

        ::WSARecv(pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pIoData->ol,NULL );

    }

   // 
ERROR_PROC: 
    WSACleanup(); 
    //

    return 0; 
}

/******************************************************************
* 函数介绍：处理完成端口对象事件的线程 
* 输入参数： 
* 输出参数： 
* 返回值 ： 
*******************************************************************/ 
DWORD WINAPI ServerThread( LPVOID lpParam ) 
{ 
    HANDLE hIocp = ( HANDLE )lpParam; 
    if( hIocp == NULL ) 
    { 
        return -1; 
    }

    DWORD dwTrans = 0; 
    PPER_HANDLE_DATA pPerHandle; 
    PPER_IO_DATA     pPerIo; 
     
    while( TRUE ) 
    { 
        // 在关联到此完成端口的所有套接字上等待I/O完成 
        BOOL bRet =::GetQueuedCompletionStatus( hIocp, &dwTrans, (LPDWORD)&pPerHandle,(LPOVERLAPPED*)&pPerIo, WSA_INFINITE ); 
        if( !bRet )    // 发生错误 
        { 
           ::closesocket( pPerHandle->s ); 
           ::GlobalFree( pPerHandle ); 
           ::GlobalFree( pPerIo );

           cout << "error" << endl; 
            continue; 
        }

        // 套接字被对方关闭 
        if( dwTrans == 0 && (pPerIo->nOperationType == OP_READ || pPerIo->nOperationType&nb-sp;==OP_WRITE ) ) 
        { 
           ::closesocket( pPerHandle->s ); 
           ::GlobalFree( pPerHandle ); 
           ::GlobalFree( pPerIo );

           cout << "client closed" << endl; 
            continue; 
        }

        switch (pPerIo->nOperationType ) 
        { 
        caseOP_READ:       // 完成一个接收请求 
            { 
               pPerIo->buf[dwTrans] = '\0'; 
               printf( "%s\n", pPerIo->buf );

               // 继续投递接受操作 
               WSABUF buf; 
               buf.buf = pPerIo->buf; 
               buf.len = BUFFER_SIZE; 
               pPerIo->nOperationType = OP_READ; 
                
               DWORD dwRecv = 0; 
               DWORD dwFlags = 0; 
                
               ::WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags,&pPerIo->ol, NULL );

           } 
            break; 
        case OP_WRITE: 
        case OP_ACCEPT: 
            break;

        }

    }

return 0; 
}

 

 

基于IOCP模型的聊天程序:服务器

#include <stdio.h>

#include <winsock2.h>

#pragma comment(lib,"ws2_32.lib")

 

#define  HOST_PORT 3000  

#define  LISTENLOG 10  

#define  CLIENTLEN 20    /* 指定最大客户连接数 */

#define  NAMELEN   16    /* 名字最大为16个字节 */

#define  INFOLEN   256    /* 消息内容最大为256字节 */

#define  INFOSIZE (NAMELEN+INFOSIZE) /* 发送或接收一条消息，需要这么大的缓冲区 */

 

程序在消息的发送和接收过程中，需要指明这条消息的主人及消息内容，因此使用一个infoT结构来作为缓冲

/* infoT结构 */

typedef struct

{

char name[NAMELEN]; /* 主人名称 */

char info[INFOLEN]; /* 消息内容 */

}infoT,*infoP;

 

因为IOCP模型需要使用到单I/O数据,因此，先定义该数据结构

 

/* PerIoDataT结构 */

typedef struct

{

OVERLAPPED ol;   /* 重叠I/O结构 */

WSABUF  dataBuf; /* 数据操作结构 */

infoT  infoBuf; /* 数据缓冲区 */

int  nOpType; /* I/O操作事件 */

/* -I/O事件- */

#define  OP_RECV   1 /* 接收事件 */

#define  OP_SEND   2 /* 发送事件 */

}PerIoDataT,*PerIoDataP;

 

接收到客户后，需要保存客户资料,如名字，套接字,定义一个ClientT结构来保存

 

/* ClientT结构 */

typedef struct

{

SOCKET  sock;   /* 客户socket */

char  name[NAMELEN]; /* 客户名字 */

PerIoDataP pIoData; /* 用于与客户进行通讯的数据缓冲 */

}ClientT,*ClientP;

 

程序需用到一些全局变量

SOCKET   listen_Sock;   /* 用于侦听套接字 */

struct sockaddr_in server_Addr;   /* 服务器的地址信息 */

HANDLE   compPort;   /* 完成端口 */

ClientT   clients[CLIENTLEN]; /* 客户列表,保存着已连接的客户资料 */

 

最基本的函数定义

程序需要对客户列表进行初始化，获取一个空闲位置，删除一个客户

 

/* InitClients : 初始clients,将所有客户的socket初始为0 */

void InitClients()

{

int i;

for ( i=0;i<CLIENTLEN;i++ )

  clients[i].sock=0;

}

 

/* GetItemClients : 获取一个空闲位置,返回一个socket为0的位置索引 */

int GetItemClients()

{

int i;

for ( i=0;i<CLIENTLEN;i++ )

   if( clients[i].socket==0 )

   return i;

return -1;

}

 

/* DelItemClients : 删除一个客户,将该客户socket设为0 */

void DelItemClients( int i )

{

clients[i].sock=0;

}

 

单I/O数据需要创建与释放

 

/* NewPerIoData : 创建一个PerIoDataT */

PerIoDataP NewPerIoData()

{

PerIoDataP pIoData=(PerIoDataP)malloc(sizeof(PerIoDataT) );

memset(&(pIoData->ol),0,sizeof(OVERLAPPED) );  /* 初始化ol域 */

pIoData->dataBuf.buf=(char*)&(pIoData->infoBuf);/* buf指向数据缓冲区 */

pIoData->dataBuf.len=INFOSIZE;     /* 数据缓冲区的大小 */

return pIoData;

}

 

/* DelPerIoData : 释放一个PerIoDataT */

void DelPerIoData( PerIoDataP *pIoData )

{

if ( (*pIoData) )

  free( (*pIoData) );

(*pIoData)=NULL;

}

 

完成端口创建，关联,及创建工作线程

 

/* NewCompletionPort : 创建完成端口 */

HANDLE NewCompletionPort()

{

return CreateIoCompletionPort(INVALID_HANDLE,NULL,0,0 );

}

 

/* AssicoateCompletionPort : 关联完成端口 */

BOOL AssicoateCompletionPort( HANDLEhCompPort,HANDLE hFile,DWORD dwKey )

{

HANDLE h=CreateIoCompletionPort(hFile,hCompPort,dwKey,0 );

return ( h==hCompPort );

}

 

/* CreateWorkerThread : 创建工作线程 */

void CreateWorkerThread( HANDLE hCompPort,unsigned(_stdcall *workerthread)(void *) )

{

int i;

SYSTEM_INFO systeminfo;

HANDLE  hThread;

DWORD  threadID;

 

GetSystemInfo( &systeminfo );

for (i=0;i<(systeminfo.dwNumberOfProcessors);i++ )

{

  hThread=CreateThread( NULL,0,workerthread,hCompPort,0,&threadID );

  CloseHandle( hThread );

}

}

 

消息的发送与接收

 

/* RecvInfo : 接收消息,将接收到的消息缓存到缓冲区 */

int RecvInfo( SOCKET sock,PerIoDataPpIoData )

{

DWORD dwBytes,iFlags=0;

pIoData->nOpType=OP_RECV;   /* 触发OP_RECV事件 */

return WSARecv(sock,&(pIoData->dataBuf),1,&dwBytes,&iFlags,&(pIoData->ol),NULL);

}

 

/* SendInfo : 发送消息,比RecvInfo多一个参数pSendIoData(发送数据),该参数由调用者传入 */

int SendInfo( SOCKET sock,PerIoDataPpIoData,PerIoDataP pSendIoData )

{

DWORD dwBytes;

pIoData->nOpType=OP_SEND;   /* 触发OP_SEND事件 */

return WSASend(sock,&(pSendIoData->dataBuf),1,&dwBytes,0,&(pIoData->ol),NULL);

}

 

主要函数定义

 

/* InitSocket : 初始相关数据 */

void InitSocket()

{

listen_Sock=WSASocket(AF_INET,SOCK_STREAM,0,NULL,0,WSA_FLAG_OVERLAPPED );

server_Addr.sin_family   =AF_INET;

server_Addr.sin_port   =htons( HOST_PORT );

server_Addr.sin_addr.s_addr =htonl(INADDR_ANY );

bind( listen_Sock,(structsockaddr*)&server_Addr,sizeof(server_Addr) );

listen( listen_Sock,LISTENLOG );

}

 

/* SendToAllClient : 向所有客户发送消息 */

void SendToAllClient( PerIoDataP pSendIoData)

{

int i;

printf("%s:%s\n",pSendIoData->infoBuf.name,pSendIoData->infoBuf.info);

fro ( i=0;i<CLIENTLEN;i++ )

{

   if( clients[i].sock!=0 )

   SendInfo( clients[i].sock,clients[i].pIoData,pSendIoData );

}

}

 

/* AcceptClient : 接收客户连接 */

void AcceptClient()

{

int i;

 

while (1)

{

  i=GetItemClients();   /* 获取一个空闲位置 */

   if( i==-1 )    /* 如果没有空闲位置，则一直等待到其他客户断开 */

   continue;

   /*开始接收客户连接请求 */

  clients[i].sock=accept( listen_Sock,NULL,NULL );

   /*接收客户名字 */

  recv( clients[i].sock,clients[i].name,NAMELEN,0 );

   /*将客户socket与完成端口关联 */

  AssicoateCompletionPort(hCompPort,clients[i].sock,(DWORD)&clients[i] );

   /*向所有客户发送新客户加入消息*/

  clients[i].pIoData=NewPerIoData();  /* 创建单I/O数据 */

  strcpy( clients[i].pIoData->infoBuf.name,clients[i].name );

  strcpy( clients[i].pIoData->infoBuf.info,"成功连接!");

  SendToAllClient( clients[i].pIoData );  /* 发送 */

}

}

 

/* WorkerThread : 工作线程 */

unsigned _stdcall WorkerThread( void*pCompPort )

{

PerIoDataP pIoData; /* 抽取单I/O数据 */

ClientP  pClient; /* 抽取单句柄数据 */

DWORD  dwBytes;

 

while ( 1 )

{

   if( GetQueuedCompletionStatus(

      pCompPort,

      &dwBytes,

      (DWORD)&pClient,

      (LPOVERLAPPED*)&pIoData,

      NULL

      )==NULL )

   {

   /* 记录提取失败,与客户断开连接 */

   if ( closesocket( pClient->sock )==SOCKET_ERROR )

    continue;

   /* 关闭该客户 */

   pClient->sock=0;

   /* 向所有客户发送这条消息 */

   strcpy( pIoData->infoBuf.name,pClient->name );

   strcpy( pIoData->infoBuf.info,"断开连接!");

   SendToAllClient( pIoData );

   /* 释放PerIoDataT*/

   DelPerIoData( &pIoData );

   continue;

   }

   if( dwBytes==0 )

   continue;

   /*I/O事件处理 */

  switch ( pIoData->nOpType )

   {

  case OP_RECV :   /* 成功接收,向所有客户发送接收到的消息 */

   SendToAllClient( pIoData );

   break;

  case OP_SEND :   /* 成功发送，继续等待接收该客户消息 */

   RecvInfo( pClient->sock,pIoData );

   break;

   }

}

return 0;

}

 

/* CreateServer : 创建服务器 */

void CreateServer()

{

/* 初始客户列表 */

InitClients();

/* 初始socket等相关数据 */

InitSocket();

if ( listen_Sock!=INVALID_SOCKET )

{

   /*创建完成端口 */

  hCompPort=NewCompletionPort();

   /*创建工作线程 */

  CreateWorkerThread( hCompPort,&WorkerThread );

   /*接收客户 */

  AcceptClient();

}

}

 

void main()

{

WSADATA WSAdata;

if ( WSAStartup( 0x0202,&WSAdata )!=0 )

  return;

CreateServer();

closesocket( listen_Sock );

WSACleanup();

}