1. 引言
在网络通信中创建一个TCP服务器端通常是这样的：
int nPort =65000;//指定通信端口
WSADATA wsaData;
WSAStartup( MAKEWORD( 2, 2 ), &wsaData );
// 创建监听套接字，绑定本地端口，开始监听
SOCKET sListen = socket( AF_INET,SOCK_STREAM, 0 );
SOCKADDR_IN addr;
addr.sin_family = AF_INET;
addr.sin_port = htons( nPort );
addr.sin_addr.S_un.S_addr = INADDR_ANY;
bind( sListen, (sockaddr *)&addr, sizeof( addr ) );
listen( sListen, 5 );
SOCKADDR_IN saRemote;
int nRemoteLen = sizeof( saRemote );
SOCKET sRemote = accept( sListen, (sockaddr *)&saRemote, &nRemoteLen );
然后线程会挂起，当有客户端连上来时，accept函数会继续往下执行。这时我们就可以调用recv函数接收来自客户端的消息。当考虑到可能有多个客户端连上来时，而每个客户端又要能及时通信。我们通常做法是新开线程来处理。
while(TRUE)
{
sRemote = accept( sListen, (sockaddr *)&saRemote, &nRemoteLen );
HANDLE hThread = CreateThread(NULL, 0, ThreadFunc, (void*) sRemote, 0, &dwTreadId); CloseHandle(hThread);
}
但如果有大量的客户端连入服务器，新开线程会消耗服务器的大量资源。于是windows提供了一种socket模型来处理这种情况，它就是IOCP，又叫完成端口。它实际上是事先开好N个线程，一个accpet线程和多个工作线程，让它们在那hold[堵塞]。一旦服务器，收到一个客户端的连接时，accept线程就会读取客户端发送的数据，并放入缓冲区。然后那多个工作线程就会从缓冲区取出数据并加以处理。就可以避免针对每一个用户请求都开线程。不仅减少了线程的资源，也提高了线程的利用率。
多个线程的关系应该是这样的。accept线程，只负责客户端的连接处理。假如：客户端C1连上服务端，accept线程，取出数据并放入缓冲区。这时工作线程开始工作，假如为worker3，worker3运行一段时间后，轮到worker1开始运行。worker1就后接手worker3的工作，继续进行。
2. 准备工作
为了更好使用IOCP，我们要先了解几个常用的函数。
1、CreateIoCompletionPort,
首先使用这个函数创建一个Handle 用来标识一个io完成端口。然后会调用它来关联accept的套接字，和一个存在的io完成端口。
WINBASEAPI
__out
HANDLE
WINAPI
CreateIoCompletionPort(
__in HANDLE FileHandle, //关联的文件句柄
__in_opt HANDLE ExistingCompletionPort, // 已经存在的完成端口。如果为NULL，则为新建一个IOCP。
__in ULONG_PTR CompletionKey, //传送给处理函数的参数
__in DWORD NumberOfConcurrentThreads //有多少个线程在访问这个消息队列。当参数ExistingCompletionPort不为0的时候，系统忽略该参数，当该参数为0表示允许同时相等数目于处理器个数的线程访问该消息队列。
);
该函数返回一个IOCP的句柄。若为NULL则创建失败，不为NULL则创建成功。
2. WSARecv
使用这个函数来接收客户端的数据，并把数据放入缓冲区，让工作线程(事先开好的N个线程)来取。注意dwFlags通常设为0，否则会出错。
#include <winsock2.h>
int WSAAPI WSARecv (
SOCKET s, //一个标识已连接套接口的描述字。
LPWSABUF lpBuffers, //一个指向WSABUF结构数组的指针。每一个WSABUF结构包含一个缓冲区的指针和缓冲区的长度
DWORD dwBufferCount, //lpBuffers数组中WSABUF结构的数目
LPDWORD lpNumberOfBytesRecvd, //如果接收操作立即结束，一个指向本调用所接收的字节数的指针。
LPINT lpFlags, //一个指向标志位的指针。和函数socket()一样，和用来控制套接字的行为，例如，指出当前当前套接字是面向流的还是面向消息的。通常设置为0。
LPWSAOVERLAPPED lpOverlapped, //一个指向WSAOVERLAPPED结构的指针（对于非重叠套接口则忽略）。
LPWSAOVERLAPPED_COMPLETION_ROUTINE lpCompletionRoutine //一个指向接收操作结束后调用的例程的指针（对于非重叠套接口则忽略）
);
对于非重叠（非异步的）的操作，函数返回大于0的值表示操作成功。返回0表示连接中断，此时需要释放套接字资源。返回SOCKET_ERROR(-1)，表示出错，使用WSAGetLastError()获取出错的原因。.就非重叠操作而言，其语义与标准recv函数是相同的。
对于异步操作，若无错误发生且接收操作立即完成，则WSARecv()函数返回0，请注意在这种情况下完成指示（启动指定的完成例程或设置一个事件对象）将早已发生。否则的话，将返回SOCKET_ERROR错误，应用程序可通过WSAGetLastError()来获取相应的错误代码。
3. GetQueuedCompletionStatus
工作线程使用这个函数来获取放入缓冲区的数据。
获取完成端口的状态，当有重叠任务完成时，在多个调用该函数的线程中挑选一个线程返回，并返回相应的结构用于Accept，Recv，Send等操作。
BOOL GetQueuedCompletionStatus(
HANDLE CompletionPort, //指定的IOCP，该值由CreateIoCompletionPort函数创建。
LPDWORD lpNumberOfBytes, //一次完成后的I/O操作所传送数据的字节数。
PULONG_PTR lpCompletionKey, //当文件I/O操作完成后，用于存放与之关联的CK
LPOVERLAPPED *lpOverlapped, //为调用IOCP机制所引用的OVERLAPPED结构。
DWORD dwMilliseconds)； //用于指定调用者等待CP的时间。
调用成功，则返回非零数值，相关数据存于lpNumberOfBytes、lpCompletionKey、lpoverlapped变量中。失败则返回零值。
3. IOCP流程
1. 使用完成端口IOCP的流程
总的来说，使用IOCP只需要遵循下面几个步骤：
（1）调用CreateIoCompletionPort() 函数创建一个完成端口。
（2） 建立和处理器的核数相等的工作线程（WorkerThread），这些线程不断地通过 GetQueuedCompletionStatus() 函数扫描完成端口中是否有IO操作完成，如果有的话，将已经完成了的IO操作取出处理，处理完成后，再投递一个IO请求即可（下文有WorkerThread的流程图）。
（3） 初始化监听socket，调用bind()，listen()进行绑定监听。
（4） 调用CreateIoCompletionPort() 绑定listen socket 到 完成端口，并投递一个或多个AcceptEx请求。此处的AcceptEx是WinSock2 的扩展函数，作用是投递一个accept请求，当有socket接入是可以再2中的线程中处理。
以上即为完成端口的初始化和监听socket的初始化。下面介绍WorkerThread的工作流程：
（1）不断地通过GetQueuedCompletionStatus() 函数扫描完成端口中是否有IO操作完成，如果有的话，将已经完成了的IO操作取出处理。
（2）判断IO操作的类型：
1、如果为accept操作，调用CreateIoCompletionPort() 绑定新接入的socket 到 完成端口，向新接入的socket 投递一个WSARecv请求。
2、如果为WSARecv操作，处理接收到的数据，向这个socket 再投递一个WSARecv请求。
流程图如下：
4. IOCP代码
//#define RECV_ONLY //是否只处理接收数据
#define BUFFER_SIZE 1024
/******************************************************************
* per_handle 数据
*******************************************************************/
typedef struct _PER_HANDLE_DATA
{
SOCKET s; // 对应的套接字句柄
sockaddr_in addr; // 对方的地址
}PER_HANDLE_DATA, *PPER_HANDLE_DATA;
/******************************************************************
* per_io 数据
*******************************************************************/
typedef struct _PER_IO_DATA
{
OVERLAPPED ol; // 重叠结构
char buf[BUFFER_SIZE]; // 数据缓冲区
int nOperationType; // 操作类型
#define OP_READ 1
#define OP_WRITE 2
#define OP_ACCEPT 3
}PER_IO_DATA, *PPER_IO_DATA;
// 唯一的应用程序对象
CWinApp theApp;
using namespace std;
DWORD WINAPI ServerThread( LPVOID lpParam ); //工作线程
int _tmain(int argc, TCHAR* argv[], TCHAR* envp[])
{
int nRetCode = 0;
// 初始化 MFC 并在失败时显示错误
if (!AfxWinInit(::GetModuleHandle(NULL), NULL, ::GetCommandLine(), 0))
{
// TODO: 更改错误代码以符合您的需要
_tprintf(_T("错误: MFC 初始化失败\n"));
nRetCode = 1;
}
else
{
// TODO: 在此处为应用程序的行为编写代码。
int nPort =65000;//指定通信端口
// 创建完成端口对象
// 创建工作线程处理完成端口对象的事件
HANDLE hIocp = CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0, 0, 0 );
//cpu个数*2+2 通常为最佳线程数
SYSTEM_INFO sysInfo;
GetSystemInfo(&sysInfo);
int ThreadNum=sysInfo.dwNumberOfProcessors*2+2;
for(int i=0;i<ThreadNum;i++)
{
HANDLE hThread;
hThread =CreateThread(NULL, 0, ServerThread, (LPVOID)hIocp, 0, 0);
CloseHandle(hThread);
}
WSADATA wsaData;
WSAStartup( MAKEWORD( 2, 2 ), &wsaData );
// 创建监听套接字，绑定本地端口，开始监听
SOCKET sListen = socket( AF_INET,SOCK_STREAM, 0 );
SOCKADDR_IN addr;
addr.sin_family = AF_INET;
addr.sin_port = htons( nPort );
addr.sin_addr.S_un.S_addr = INADDR_ANY;
bind( sListen, (sockaddr *)&addr, sizeof( addr ) );
listen( sListen, 5 );
printf( "iocp demo start......\n" );
while(true)
{
//accept客户端
SOCKADDR_IN saRemote;
int nRemoteLen = sizeof( saRemote );
SOCKET sRemote = accept( sListen, (sockaddr *)&saRemote, &nRemoteLen );
PPER_HANDLE_DATA pPerHandle =(PPER_HANDLE_DATA)::GlobalAlloc(GPTR, sizeof(PER_HANDLE_DATA));
if( pPerHandle == NULL )
{
break;
}
pPerHandle->s = sRemote;
memcpy( &pPerHandle->addr, &saRemote, nRemoteLen );
//关联iocp和接收socket
CreateIoCompletionPort( ( HANDLE)pPerHandle->s, hIocp, (DWORD)pPerHandle, 0 );
PPER_IO_DATA pIoData =(PPER_IO_DATA)GlobalAlloc(GPTR, sizeof(PER_IO_DATA));
if( pIoData == NULL )
{
break;
}
pIoData->nOperationType = OP_READ;
WSABUF buf;
buf.buf = pIoData->buf;
buf.len = BUFFER_SIZE;
DWORD dwRecv = 0;
DWORD dwFlags = 0;//注意保证dwFlags为0，否则会出错
//压缩数据到缓冲区
WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pIoData->ol, NULL );
}
}
return nRetCode;
}
/******************************************************************
* 函数介绍：处理完成端口对象事件的线程
* 输入参数：
* 输出参数：
* 返回值 ：
*******************************************************************/
DWORD WINAPI ServerThread( LPVOID lpParam )
{
HANDLE hIocp = ( HANDLE )lpParam;
if( hIocp == NULL )
{
return -1;
}
DWORD dwTrans = 0;
PPER_HANDLE_DATA pPerHandle;
PPER_IO_DATA pPerIo;
while( TRUE )
{
// 在关联到此完成端口的所有套接字上等待I/O完成
BOOL bRet = GetQueuedCompletionStatus( hIocp, &dwTrans, (LPDWORD)&pPerHandle, (LPOVERLAPPED*)&pPerIo, WSA_INFINITE );
if( !bRet ) // 发生错误
{
closesocket( pPerHandle->s );
GlobalFree( pPerHandle );
GlobalFree( pPerIo );
cout << "error" << endl;
continue;
}
// 套接字被对方关闭
if( dwTrans == 0 && ( pPerIo->nOperationType == OP_READ || pPerIo->nOperationType== OP_WRITE ) )
{
closesocket( pPerHandle->s );
GlobalFree( pPerHandle );
GlobalFree( pPerIo );
cout << "client closed" << endl;
continue;
}
switch ( pPerIo->nOperationType )
{
case OP_READ: // 完成一个接收请求
{
pPerIo->buf[dwTrans] = '\0';
printf( "%s\n", pPerIo->buf );
#ifdef RECV_ONLY
// 继续投递接受操作
WSABUF buf;
buf.buf = pPerIo->buf;
buf.len = BUFFER_SIZE;
pPerIo->nOperationType = OP_READ;
DWORD dwRecv = 0;
DWORD dwFlags = 0;
//压缩数据到缓冲区
WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pPerIo->ol, NULL );
#else
//回应客户端
ZeroMemory(pPerIo->buf,BUFFER_SIZE);
strcpy(pPerIo->buf,"OK");
DWORD dwSend = 0;
DWORD dwFlags = 0;
ZeroMemory((LPVOID)&(pPerIo->ol),sizeof(OVERLAPPED));
WSABUF buf;
buf.buf = pPerIo->buf;
buf.len = 2;
pPerIo->nOperationType = OP_WRITE;
//发送数据
WSASend(pPerHandle->s,&buf,1,&dwSend,dwFlags,&pPerIo->ol,NULL);
#endif
}
break;
case OP_WRITE:
{
#ifdef RECV_ONLY
#else
//发送时的处理
// 继续投递接受操作
WSABUF buf;
buf.buf = pPerIo->buf;
buf.len = BUFFER_SIZE;
pPerIo->nOperationType = OP_READ;
DWORD dwRecv = 0;
DWORD dwFlags = 0;
//压缩数据到缓冲区
WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pPerIo->ol, NULL );
#endif
}
break;
case OP_ACCEPT:
break;
}
}
return 0;
}
3875
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
