unix网络编程之从selelct谈到epoll

第一部分： I/O复用：select和poll函数

如果一个或多个I/O条件满足（例如，输入已准备好被读，或者描述字可以承接更多的输出）时，我们就被通知到。这个能力被称为I/O复用，是由函数select和poll支持的。

 

先介绍一下各种I/O模型：

阻塞I/O，非阻塞I/O，I/O复用，信号驱动I/O（SIGIO），异步I/O

对于一个套接口上的输入操作，第一步一般是等待数据到达网络，当分组到达时，它被拷贝到内核中的某个缓冲区，第二步是将数据从内核缓冲区拷贝到应用缓冲区。

select函数：

这个函数运行进程指示内核等待多个事件中的任一个发生，并仅在一个或多个事件发生或经过某指定的时间后才唤醒。

作为一个例子，我们可以调用函数select并通知内核仅在下列情况发生时才返回：

集合{1，4,5}中的任何描述字准备好读，或

集合{2,7}中任何描述字准备好些，或

集合{1,4}中的任何描述字有异常条件待处理，或

已经过了10.2秒

也就是说通知内核我们对哪些描述字感兴趣以及等待多长时间我们所关心的描述字不受限于套接口任何描述字都可用select来测试.

数据结构图示：

 其中client[]用来揭露已连接描述字，而reset为读描述字集。

第二部分  Linux下多路复用IO接口select/poll的增强版本epoll

select的特点：select 选择句柄的时候，是遍历所有句柄，也就是说句柄有事件响应时，select需要遍历所有句柄才能获取到哪些句柄有事件通知，因此效率是非常低。但是如果连接很少的情况下， select和epoll的LT触发模式相比， 性能上差别不大。
这里要多说一句，select支持的句柄数是有限制的， 同时只支持1024个，这个是句柄集合限制的，如果超过这个限制，很可能导致溢出，而且非常不容易发现问题， TAF就出现过这个问题， 调试了n天，才发现：）当然可以通过修改linux的socket内核调整这个参数。
epoll的特点：epoll对于句柄事件的选择不是遍历的，是事件响应的，就是句柄上事件来就马上选择出来，不需要遍历整个句柄链表，因此效率非常高，内核将句柄用红黑树保存的。
对于epoll而言还有ET和LT的区别，LT表示水平触发，ET表示边缘触发，两者在性能以及代码实现上差别也是非常大的。

在linux的网络编程中，很长的时间都在使用select来做事件触发。在linux新的内核中，有了一种替换它的机制，就是epoll。
相比于select，epoll最大的好处在于它不会随着监听fd数目的增长而降低效率。因为在内核中的select实现中，它是采用轮询来处理的，轮询的fd数目越多，自然耗时越多。并且，在linux/posix_types.h头文件有这样的声明：
#define __FD_SETSIZE    1024
表示select最多同时监听1024个fd，当然，可以通过修改头文件再重编译内核来扩大这个数目，但这似乎并不治本。

epoll的接口非常简单，一共就三个函数：
1. int epoll_create(int size);
创建一个epoll的句柄，size用来告诉内核这个监听的数目一共有多大。这个参数不同于select()中的第一个参数，给出最大监听的fd+1的值。需要注意的是，当创建好epoll句柄后，它就是会占用一个fd值，在linux下如果查看/proc/进程id/fd/，是能够看到这个fd的，所以在使用完epoll后，必须调用close()关闭，否则可能导致fd被耗尽。


2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
epoll的事件注册函数，它不同与select()是在监听事件时告诉内核要监听什么类型的事件，而是在这里先注册要监听的事件类型。第一个参数是epoll_create()的返回值，第二个参数表示动作，用三个宏来表示：
EPOLL_CTL_ADD：注册新的fd到epfd中；
EPOLL_CTL_MOD：修改已经注册的fd的监听事件；
EPOLL_CTL_DEL：从epfd中删除一个fd；
第三个参数是需要监听的fd，第四个参数是告诉内核需要监听什么事，struct epoll_event结构如下：

typedef union epoll_data {
    void *ptr;
    int fd;
    __uint32_t u32;
    __uint64_t u64;
} epoll_data_t;

struct epoll_event {
    __uint32_t events; /* Epoll events */
    epoll_data_t data; /* User data variable */
};

events可以是以下几个宏的集合：
EPOLLIN ：表示对应的文件描述符可以读（包括对端SOCKET正常关闭）；
EPOLLOUT：表示对应的文件描述符可以写；
EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）；
EPOLLERR：表示对应的文件描述符发生错误；
EPOLLHUP：表示对应的文件描述符被挂断；
EPOLLET： 将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)来说的。
EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里


3. int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
等待事件的产生，类似于select()调用。参数events用来从内核得到事件的集合，maxevents告之内核这个events有多大，这个 maxevents的值不能大于创建epoll_create()时的size，参数timeout是超时时间（毫秒，0会立即返回，-1将不确定，也有说法说是永久阻塞）。该函数返回需要处理的事件数目，如返回0表示已超时。


4、关于ET、LT两种工作模式：
可以得出这样的结论:
ET模式仅当状态发生变化的时候才获得通知,这里所谓的状态的变化并不包括缓冲区中还有未处理的数据,也就是说,如果要采用ET模式,需要一直read/write直到出错为止,很多人反映为什么采用ET模式只接收了一部分数据就再也得不到通知了,大多因为这样;而LT模式是只要有数据没有处理就会一直通知下去的.

一、ET模式下

Q1: 调用accept时，到底TCP完成队列里有多少个已经建立好的连接?

这里又得分情况来说:

• 没有连接。这种情况发生在TCP连接被客户端夭折，即在服务端调用accept之前客户端给出一个RST。该RST导致刚刚建立好的连接从服务器 端的TCP完成队列中被移出。源自berkeley的实现会在内核处理该事件，并不会将该事件通知给服务程序，如果套接口被设置为阻塞模式，就会导致 accept函数被阻塞，程序挂起，一直要等到下一个连接到来，这也是为什么采用非阻塞的accept的原因；其他的实现通常会返回 ECONNABORTED或EPROTO错误。

解决方法: 采用非阻塞的accept，在accept返回后处理ECONNABORTED、EPROTO、EINTR错误。

• 一个以上的连接。一个连接很容易理解，多个连接的情况出现在有多个连接请求同时到达的情况，由于是边缘触发，epoll_wait只返回一次，然后调用accept处理一个请求。这会导致TCP完成队列中依然存在连接未被处理。

解决办法: 1)：将该套接口设置为非阻塞模式，然后将accept用while循环包住，处理完TCP完成队列中的所有连接再跳出循环。2): 将accept放入一个单独的线程中，这样还可以采用阻塞模式。

Q2: read函数应当如何处理?

read函数有可能不能够一次将内核缓冲的数据读完，由于采用的ET模式，epoll_wait不会因为内核缓冲区还有数据而继续返回。这就会导致内核数据不能及时、完全地读到服务程序。

解决办法: 将套接口设置为非阻塞，再用while循环包住read一直读到产生EAGAIN错误，采用非阻塞套接口的原因在于防止read被阻塞住。网上看见有的朋 友说也可以采用阻塞套接口，判断read的返回值是否小于期望值，小于就证明数据读完，但是个人认为这里存在一个临界情况，比如内核缓冲有2048字节， 期望读1024字节，读完第二次后read返回的是1024，等于期望值，于是再读，但此时内核已经没有数据，于是read被阻塞(自个的思考，不知有务 否)。

Q3: 写缓冲区什么时候可以导致epoll_wait函数返回可写状态?

个人对这个问题不是很清楚，按资料说法是该缓冲区从不可写变为可写则返回，那么该套接口刚创建的时候处于可写状态，是否会导致一直返回不了可写状态，也就是说第一次永远返回不了，因为没有任何调用会使该套接口从不可写变为可写。

另外，写的时候还有些什么要注意的么？

二、LT模式下

Q1: accept函数

accept函数同样存在连接被夭折的情况，和ET模式下类似。但这种模式下不会存在处理不完多个请求的情况。因为只要有连接存在TCP完成队列中，epoll_wait就会一直返回。

Q2: read函数

同样可以避免因为一次读不完内核缓冲区的数据的情况。

Q3: 当内核写缓冲空闲时，可写状态会一直返回，如何处理?(这个曾是tencent的一个面试题)

A1: 不将可写条件加入epoll集中，采用非阻塞I/O,有数据可写时，直接写，如果返回是EAGAIN，则将可写加入epoll集中，写完后移出。

那么究竟如何来使用epoll呢？其实非常简单。
通过在包含一个头文件#include <sys/epoll.h> 以及几个简单的API将可以大大的提高你的网络服务器的支持人数。

首先通过create_epoll(int maxfds)来创建一个epoll的句柄，其中maxfds为你epoll所支持的最大句柄数。这个函数会返回一个新的epoll句柄，之后的所有操作将通过这个句柄来进行操作。在用完之后，记得用close()来关闭这个创建出来的epoll句柄。

之后在你的网络主循环里面，每一帧的调用epoll_wait(int epfd, epoll_event events, int max events, int timeout)来查询所有的网络接口，看哪一个可以读，哪一个可以写了。基本的语法为：
nfds = epoll_wait(kdpfd, events, maxevents, -1);
其中kdpfd为用epoll_create创建之后的句柄，events是一个epoll_event*的指针，当epoll_wait这个函数操作成功之后，epoll_events里面将储存所有的读写事件。max_events是当前需要监听的所有socket句柄数。最后一个timeout是 epoll_wait的超时，为0的时候表示马上返回，为-1的时候表示一直等下去，直到有事件范围，为任意正整数的时候表示等这么长的时间，如果一直没有事件，则范围。一般如果网络主循环是单独的线程的话，可以用-1来等，这样可以保证一些效率，如果是和主逻辑在同一个线程的话，则可以用0来保证主循环的效率。

epoll_wait范围之后应该是一个循环，遍利所有的事件。

几乎所有的epoll程序都使用下面的框架：

    for( ; ; )
    {
        nfds = epoll_wait(epfd,events,20,500);
        for(i=0;i<nfds;++i)
        {
            if(events[i].data.fd==listenfd) //有新的连接
            {
                connfd = accept(listenfd,(sockaddr *)&clientaddr, &clilen); //accept这个连接
                ev.data.fd=connfd;
                ev.events=EPOLLIN|EPOLLET;
                epoll_ctl(epfd,EPOLL_CTL_ADD,connfd,&ev); //将新的fd添加到epoll的监听队列中
            }
            else if( events[i].events&EPOLLIN ) //接收到数据，读socket
            {
                n = read(sockfd, line, MAXLINE)) < 0    //读
                ev.data.ptr = md;     //md为自定义类型，添加数据
                ev.events=EPOLLOUT|EPOLLET;
                epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev);//修改标识符，等待下一个循环时发送数据，异步处理的精髓
            }
            else if(events[i].events&EPOLLOUT) //有数据待发送，写socket
            {
                struct myepoll_data* md = (myepoll_data*)events[i].data.ptr;    //取数据
                sockfd = md->fd;
                send( sockfd, md->ptr, strlen((char*)md->ptr), 0 );        //发送数据
                ev.data.fd=sockfd;
                ev.events=EPOLLIN|EPOLLET;
                epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev); //修改标识符，等待下一个循环时接收数据
            }
            else
            {
                //其他的处理
            }
        }
    }
下面给出一个完整的服务器端例子：

#include<iostream> #include <sys/socket.h> #include <sys/epoll.h> #include <netinet/in.h> #include <arpa/inet.h> #include <fcntl.h> #include <unistd.h> #include <stdio.h> #include <errno.h> using namespacestd; #define MAXLINE 5 #define OPEN_MAX 100 #define LISTENQ 20 #define SERV_PORT 5000 #define INFTIM 1000 void setnonblocking(int sock) {     int opts;     opts=fcntl(sock,F_GETFL);     if(opts<0)     {         perror("fcntl(sock,GETFL)");         exit(1);     }     opts = opts|O_NONBLOCK;     if(fcntl(sock,F_SETFL,opts)<0)     {         perror("fcntl(sock,SETFL,opts)");         exit(1);     } } int main(int argc,char* argv[]) {     int i, maxi, listenfd, connfd, sockfd,epfd,nfds, portnumber;     ssize_t n;     char line[MAXLINE];     socklen_t clilen;     if ( 2 == argc )     {         if( (portnumber = atoi(argv[1]))< 0 )         {             fprintf(stderr,"Usage:%s portnumber/a/n",argv[0]);             return 1;         }     }     else     {         fprintf(stderr,"Usage:%s portnumber/a/n",argv[0]);         return 1;     }     //声明epoll_event结构体的变量,ev用于注册事件,数组用于回传要处理的事件     struct epoll_event ev,events[20];     //生成用于处理accept的epoll专用的文件描述符     epfd=epoll_create(256);     struct sockaddr_in clientaddr;     struct sockaddr_in serveraddr;     listenfd = socket(AF_INET,SOCK_STREAM, 0);     //把socket设置为非阻塞方式     //setnonblocking(listenfd);     //设置与要处理的事件相关的文件描述符     ev.data.fd=listenfd;     //设置要处理的事件类型     ev.events=EPOLLIN|EPOLLET;     //ev.events=EPOLLIN;     //注册epoll事件     epoll_ctl(epfd,EPOLL_CTL_ADD,listenfd,&ev);     bzero(&serveraddr,sizeof(serveraddr));     serveraddr.sin_family = AF_INET;     char *local_addr="127.0.0.1";     inet_aton(local_addr,&(serveraddr.sin_addr));//htons(portnumber);     serveraddr.sin_port=htons(portnumber);     bind(listenfd,(sockaddr*)&serveraddr,sizeof(serveraddr));     listen(listenfd, LISTENQ);     maxi = 0;     for ( ; ; ) {         //等待epoll事件的发生         nfds=epoll_wait(epfd,events,20,500);         //处理所发生的所有事件         for(i=0;i<nfds;++i)         {             if(events[i].data.fd==listenfd)//如果新监测到一个SOCKET用户连接到了绑定的SOCKET端口，建立新的连接。             {                 connfd = accept(listenfd,(sockaddr*)&clientaddr,&clilen);                 if(connfd<0){                     perror("connfd<0");                     exit(1);                 }                 //setnonblocking(connfd);                 char *str= inet_ntoa(clientaddr.sin_addr);                 cout <<"accapt a connection from "<< str<<endl;                 //设置用于读操作的文件描述符                 ev.data.fd=connfd;                 //设置用于注测的读操作事件                 ev.events=EPOLLIN|EPOLLET;                 //ev.events=EPOLLIN;                 //注册ev                 epoll_ctl(epfd,EPOLL_CTL_ADD,connfd,&ev);             }             else if(events[i].events&EPOLLIN)//如果是已经连接的用户，并且收到数据，那么进行读入。             {                 cout <<"EPOLLIN"<<endl;                 if ((sockfd= events[i].data.fd)< 0)                     continue;                 if ((n=read(sockfd,line, MAXLINE))< 0) {                     if (errno == ECONNRESET){                         close(sockfd);                         events[i].data.fd=-1;                     } else                         std::cout<<"readline error"<<std::endl;                 } elseif(n== 0){                     close(sockfd);                     events[i].data.fd=-1;                 }                 line[n]='/0';                 cout <<"read "<<line<<endl;                 //设置用于写操作的文件描述符                 ev.data.fd=sockfd;                 //设置用于注测的写操作事件                 ev.events=EPOLLOUT|EPOLLET;                 //修改sockfd上要处理的事件为EPOLLOUT                 //epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev);             }             else if(events[i].events&EPOLLOUT)// 如果有数据发送             {                 sockfd = events[i].data.fd;                 write(sockfd,line, n);                 //设置用于读操作的文件描述符                 ev.data.fd=sockfd;                 //设置用于注测的读操作事件                 ev.events=EPOLLIN|EPOLLET;                 //修改sockfd上要处理的事件为EPOLIN                 epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev);             }         }     }     return 0; }