IO多路复用之epoll

1、基本知识

　　epoll是在2.6内核中提出的，是之前的select和poll的增强版本。相对于select和poll来说，epoll更加灵活，没有描述符限制。epoll使用一个文件描述符管理多个描述符，将用户关系的文件描述符的事件存放到内核的一个事件表中，这样在用户空间和内核空间的copy只需一次。

传统select/poll的另一个致命弱点就是当你拥有一个很大的socket集合，由于网络得延时，使得任一时间只有部分的socket是"活跃" 的，而select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降。但是epoll不存在这个问题，它只会对"活跃"的socket进 行操作：这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。于是，只有"活跃"的socket才会主动去调用 callback函数，其他idle状态的socket则不会。

使用mmap加速内核 与用户空间的消息传递：这点实际上涉及到epoll的具体实现了。无论是select,poll还是epoll都需要内核把FD消息通知给用户空间，如何避免不必要的内存拷贝就 很重要，在这点上，epoll是通过内核于用户空间mmap同一块内存实现的。

2、epoll函数

　　epoll实现的三个函数，分别如下：

#include <sys/epoll.h>
int epoll_create(int size);
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

（1） int epoll_create(int size);
　　创建一个epoll的句柄，size用来告诉内核这个监听的数目一共有多大。这个参数不同于select()中的第一个参数，给出最大监听的fd+1的值。需要注意的是，当创建好epoll句柄后，它就是会占用一个fd值，在linux下如果查看/proc/进程id/fd/，是能够看到这个fd的，所以在使用完epoll后，必须调用close()关闭，否则可能导致fd被耗尽。

（2）int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
　　epoll的事件注册函数，它不同与select()是在监听事件时告诉内核要监听什么类型的事件epoll的事件注册函数，它不同与select()是在监听事件时告诉内核要监听什么类型的事件，而是在这里先注册要监听的事件类型。第一个参数是epoll_create()的返回值，第二个参数表示动作，用三个宏来表示：
EPOLL_CTL_ADD：注册新的fd到epfd中；
EPOLL_CTL_MOD：修改已经注册的fd的监听事件；
EPOLL_CTL_DEL：从epfd中删除一个fd；
第三个参数是需要监听的fd，第四个参数是告诉内核需要监听什么事，struct epoll_event结构如下：

struct epoll_event {
  __uint32_t events;  /* Epoll events */
  epoll_data_t data;  /* User data variable */
};

events可以是以下几个宏的集合：
EPOLLIN ：表示对应的文件描述符可以读（包括对端SOCKET正常关闭）；
EPOLLOUT：表示对应的文件描述符可以写；
EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）；
EPOLLERR：表示对应的文件描述符发生错误；
EPOLLHUP：表示对应的文件描述符被挂断；
EPOLLET： 将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)来说的。
EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到EPOLL队列里

（3） int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
　　等待事件的产生，类似于select()调用。参数events用来从内核得到事件的集合，maxevents告之内核这个events有多大，这个maxevents的值不能大于创建epoll_create()时的size，参数timeout是超时时间（毫秒，0会立即返回，-1将不确定，也有说法说是永久阻塞）。该函数返回需要处理的事件数目，如返回0表示已超时。

3、工作模式

　　epoll对文件描述符的操作有两种模式：LT（level trigger）和ET（edge trigger）。LT模式是默认模式，LT模式与ET模式的区别如下：

　　LT模式：当epoll_wait检测到描述符事件发生并将此事件通知应用程序，应用程序可以不立即处理该事件。下次调用epoll_wait时，会再次响应应用程序并通知此事件。

　　ET模式：当epoll_wait检测到描述符事件发生并将此事件通知应用程序，应用程序必须立即处理该事件。如果不处理，下次调用epoll_wait时，不会再次响应应用程序并通知此事件。

　　ET模式在很大程度上减少了epoll事件被重复触发的次数，因此效率要比LT模式高。epoll工作在ET模式的时候，必须使用非阻塞套接口，以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。

测试程序：

服务器代码：

include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <errno.h>

#include <netinet/in.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <sys/epoll.h>
#include <unistd.h>
#include <sys/types.h>

#define IPADDRESS   "127.0.0.1"
#define PORT        8787
#define MAXSIZE     1024
#define LISTENQ     5
#define FDSIZE      1000
#define EPOLLEVENTS 100

static int socket_bind(char *ip, int port);
static void do_epoll(int listenfd);
static void do_read(int epollfd, int connfd, char *buf);
static void do_write(int epollfd, int connfd, char *buf);
static void modify_event(int epollfd,int fd,int state);

int main(int argc, char *argv[])
{
    int listenfd;
    listenfd = socket_bind(IPADDRESS, PORT);
    listen(listenfd,LISTENQ);

    do_epoll(listenfd);

    return 0;
    
}


static int socket_bind(char *ip, int port)
{
    struct sockaddr_in servaddr;
    int sockfd;

    sockfd = socket(AF_INET, SOCK_STREAM, 0);
    if (sockfd == -1)
    {
        perror("socket error:");
        exit(1);
    }

    bzero(&servaddr, sizeof(servaddr));

    servaddr.sin_family = AF_INET;
    inet_pton(AF_INET, ip, &servaddr.sin_addr);
    servaddr.sin_port = htons(port);

    // 设置套接字选项避免地址使用错误 
    int on =1;
    if((setsockopt(sockfd, SOL_SOCKET,SO_REUSEADDR, &on, sizeof(on)))<0)  
    {  
        perror("setsockopt failed");  
        exit(EXIT_FAILURE);  
    }  
    if(bind(sockfd, (struct sockaddr *)&servaddr, sizeof(servaddr)) < 0)
    {
        perror("bind error: ");
        exit(1);
    }
    return sockfd;
}

static void do_epoll(int listenfd)
{
    int epollfd;
    struct epoll_event ev, events[EPOLLEVENTS];
    int ret; //需要处理的事件数目
    int i;
    int connfd;
    struct sockaddr_in cliaddr;
    socklen_t cliaddr_len;
    char buf[MAXSIZE];

    //创建epoll，返回epoll的描述符epollfd
    epollfd = epoll_create(FDSIZE);

    ev.events = EPOLLIN;
    ev.data.fd = listenfd;

    epoll_ctl(epollfd, EPOLL_CTL_ADD, listenfd, &ev);

    while(1)
    {
        ret = epoll_wait(epollfd, events, EPOLLEVENTS, -1);
        //printf("@@@@@@@@@@@@\n");
        for(i = 0; i < ret; i++)
        {
            printf("fd=%d   ret=%d\n",events[i].data.fd,ret);
            //如果新监测到一个SOCKET用户连接到了绑定的SOCKET端口，建立新的连接。
            if((events[i].data.fd == listenfd) && (events[i].events & EPOLLIN))
            {
                cliaddr_len = sizeof(cliaddr);
                connfd = accept(listenfd, (struct sockaddr *)&cliaddr, &cliaddr_len);
                if (connfd == -1)
                {
                    perror("accpet error:");
                    return;
                }
                else
                {               
                    printf("epollfd=%d\n", epollfd);
                    printf("accept a new client: %s:%d\n",inet_ntoa(cliaddr.sin_addr),cliaddr.sin_port);
                    struct epoll_event cliev;
                    cliev.events = EPOLLIN;
                    cliev.data.fd = connfd;
                    epoll_ctl(epollfd, EPOLL_CTL_ADD, connfd, &cliev);
                }
            }
            else if(events[i].events & EPOLLIN)//如果是已经连接的用户，并且收到数据，那么进行读入
            {
                do_read(epollfd, events[i].data.fd, buf);
            }
            else if(events[i].events & EPOLLOUT)
            {
               
                do_write(epollfd, events[i].data.fd, buf);
            }
        }
    }
    close(epollfd);
}

static void do_read(int epollfd, int connfd, char *buf)
{
    int nread;
    nread = read(connfd, buf, MAXSIZE);
    if(nread == -1)
    {
        perror("read error:");
        close(connfd);
    }
    else if(nread == 0)
    {
        fprintf(stderr,"client close!!!.\n");
        close(connfd);
    }
    else
    {
        printf("read message is : %s",buf);
        //修改描述符对应的事件，由读改为写
        modify_event(epollfd,connfd,EPOLLOUT);
    }
}

static void do_write(int epollfd, int connfd, char *buf)
{
    int nwrite;
    nwrite = write(connfd, buf, strlen(buf));
    printf("write buf %s\n",buf);
    if (nwrite == -1)
    {
        perror("write error:");
        close(connfd);
    }
    else
    modify_event(epollfd,connfd,EPOLLIN);
    memset(buf,0,MAXSIZE);
}

static void modify_event(int epollfd,int fd,int state)
{
    struct epoll_event ev;
    ev.events = state;
    ev.data.fd = fd;
    epoll_ctl(epollfd,EPOLL_CTL_MOD,fd,&ev);
}

客户端测试代码：

#include <sys/types.h> 
#include <sys/socket.h> 
#include <stdio.h> 
#include <netinet/in.h>                                                                    
#include <arpa/inet.h> 
#include <unistd.h> 
#include <string.h>
#include <stdlib.h>

#define MAXLINE      4096
#define SERVPORT     8787


int main(int argc, char *argv[]) 
{ 
    int client_sockfd; 
    int len; 
    struct sockaddr_in address;//服务器端网络地址结构体                                           
    int result; 
    char sendline[MAXLINE],recvline[MAXLINE];

    if(argc != 2)
    {
       printf("usage:client <IPaddress>\n");
       return 0;
    }


    client_sockfd = socket(AF_INET, SOCK_STREAM, 0);//建立客户端socket                               
    address.sin_family = AF_INET; 
    inet_pton(AF_INET, argv[1], &address.sin_addr);         
    address.sin_port = htons(SERVPORT); 
    len = sizeof(address); 
    result = connect(client_sockfd, (struct sockaddr *)&address, len); 
    while(1)
    {
        if(result == -1) 
        { 
             perror("oops: client2"); 
             exit(1); 
        } 
        if(fgets(sendline, MAXLINE, stdin) == NULL)
        {
            printf("get error\n");
            return -1;
        }

        printf("sendline is %s\n", sendline);
        write(client_sockfd, sendline, strlen(sendline)); 

        //每次接收前清空recvline
        memset(recvline, 0, sizeof(recvline));
        if(read(client_sockfd, recvline, strlen(sendline)) < 0)
        {
            perror("read errot");
            return -1;
        } 
        printf("char from server = %s\n", recvline); 
    }
    
    close(client_sockfd); 
    return 0;
}