网络io模型：epoll

epoll原理

　　在linux网络编程中，很长时间使用select做事件触发。select会随着监听fd的数目的增长而降低效率，因为在实现中，它是采用轮询的方式处理的，轮询的fd数目越多，自然耗时就越多。对于IM服务器要支持上万个链接，就显得力不从心了。而且fd支持数目是有限的，在linux/posix/_types.h头文件中，有这样的声明：#defind __FD_SETSIZE 1024.

　　epoll则没有这样的限制，epoll支持的最大链接数是最大可打开的文件的数目。epoll只对活跃的socket进行操作——这是因为epoll是根据每个fd上面的callback函数实现的。那么，只有活跃的socket才会主动地调用callback函数。在一个高速的LAN环境，如果几乎所有的socket都是活跃的，epoll的效率比select会稍微有下降。

　　使用mmap加速内核与用户空间的消息传递。无论select，poll都需要内核把FD消息通知给用户空间，如何避免不必要的内存拷贝，在这点上epoll通过内核与用户空间mmap同一块内存空间实现的。

　　epoll有两种工作方式LT（level triggered）和ET（edge triggered）。

　　LT（level triggered）是缺省的工作方式，支持block和non-block socket。在这种模式下，内核告诉你一个文件描述符已经就绪了，然后对这个描述符进行io操作。如果你不作任何操作，内核还会继续通知你的。所以，这种模式编程出错可能性要小一点。传统的select/poll都是这种模型的代表。

　　ET（edge triggered）高速工作方式，只支持no-block描述符。在这种模式下，当描述符由未就绪变为就绪时，内核通过epoll告诉你。然后它假设你知道文件描述符已经就绪，并且不再为那个描述符发送更多的就绪通知，直到你做了某些操作导致描述符不再是就绪状态了（比如，你在发送、接收或者接收请求、或者发送接收的数据少于一定量时导致了一个EWOULDBLOCK错误）。但是请注意，如果一直不对这个fd作io操作（从而导致它再次变成未就绪），内核不会发送更多的通知（only once），不过在TCP协议中，ET模式的加速效果仍需要更多benchmark确认。

 

epoll接口

int epoll_create(int size)

创建一个epoll句柄，size告诉内核这个监听的数目一共有多大。这个参数不同于select的第一个参数，给出最大的fd+1值。需要注意的是，当创建好epoll句柄后，它就会占用一个fd值，在linux下如果查看/proc/prodid/fd/能够看到这个fd的，所以使用完epoll后，必须调用close关闭。

 

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)

epoll事件注册函数，它不同于select是在监听事件时告诉内核要监听什么类型的事件，而是在这里先注册要监听的事件类型。

epfd：epoll描述符

op：EPOLL_CTL_ADD 注册新的fd

       EPOLL_CTL_MOD 修改已注册的fd的监听事件

       EPOLL_CTL_DEL 从epfd中删除一个fd

struct epoll_event {

  __uint32_t event; /* EPOLLIN 可以读（包括对端socket正常关闭）

                                  EPOLLOUT 可以写

                                  EPOLLPRI 有紧急数据可读（这里应该表示有带外数据到来）

                                  EPOLLERR 对应文件描述符发生错误

                                  EPOLLHUP 对应的文件描述符被挂断

                                  EPOLLET ET工作模式

                                  EPOLLONESHOT 只监听一次事件，当监听完这次事件后，还需要继续监听的话，需要再次把fd加入到监听队列里。

  epoll_data_t data; /* user data */

};

 

typedef union epoll_data {
    void ptr; 
    int fd; 
    __uint32_t u32; 
    __uint64_t u64;
} epoll_data_t;

 

int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout)

等待事件的产生，类似于select。

events，从内核得到事件的总和

maxevents，告诉内核这个events有多大，不能大于epoll_create size 值

timeout，超时时间（毫秒）。0：立即返回，-1 不确定或永久阻塞

返回，0：超时；否则 事件个数

 

假如有这样一个例子：
1. 我们已经把一个用来从管道中读取数据的文件句柄(RFD)添加到epoll描述符
2. 这个时候从管道的另一端被写入了2KB的数据
3. 调用epoll_wait(2)，并且它会返回RFD，说明它已经准备好读取操作
4. 然后我们读取了1KB的数据
5. 调用epoll_wait(2)......

Edge Triggered 工作模式：
如果我们在第1步将RFD添加到epoll描述符的时候使用了EPOLLET标志，那么在第5步调用epoll_wait(2)之后将有可能会挂起，因为剩余的数据还存在于文件的输入缓冲区内，而且数据发出端还在等待一个针对已经发出数据的反馈信息。只有在监视的文件句柄上发生了某个事件的时候 ET 工作模式才会汇报事件。因此在第5步的时候，调用者可能会放弃等待仍在存在于文件输入缓冲区内的剩余数据。在上面的例子中，会有一个事件产生在RFD句柄上，因为在第2步执行了一个写操作，然后，事件将会在第3步被销毁。因为第4步的读取操作没有读空文件输入缓冲区内的数据，因此我们在第5步调用 epoll_wait(2)完成后，是否挂起是不确定的。epoll工作在ET模式的时候，必须使用非阻塞套接口，以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。最好以下面的方式调用ET模式的epoll接口，在后面会介绍避免可能的缺陷。
   i    基于非阻塞文件句柄
   ii   只有当read(2)或者write(2)返回EAGAIN时才需要挂起，等待。但这并不是说每次read()时都需要循环读，直到读到产生一个EAGAIN才认为此次事件处理完成，当read()返回的读到的数据长度小于请求的数据长度时，就可以确定此时缓冲中已没有数据了，也就可以认为此事读事件已处理完成。

另外，当使用epoll的ET模型来工作时，当产生了一个EPOLLIN事件后，
读数据的时候需要考虑的是当recv()返回的大小如果等于请求的大小，那么很有可能是缓冲区还有数据未读完，也意味着该次事件还没有处理完，所以还需要再次读取：
while(rs)
{
  buflen = recv(activeevents[i].data.fd, buf, sizeof(buf), 0);
  if(buflen < 0)
  {
    // 由于是非阻塞的模式,所以当errno为EAGAIN时,表示当前缓冲区已无数据可读
    // 在这里就当作是该次事件已处理处.
    if(errno == EAGAIN)
     break;
    else
     return;
   }
   else if(buflen == 0)
   {
     // 这里表示对端的socket已正常关闭.
   }
   if(buflen == sizeof(buf)
     rs = 1;   // 需要再次读取
   else
     rs = 0;
}


还有，假如发送端流量大于接收端的流量(意思是epoll所在的程序读比转发的socket要快),由于是非阻塞的socket,那么send()函数虽然返回,但实际缓冲区的数据并未真正发给接收端,这样不断的读和发，当缓冲区满后会产生EAGAIN错误(参考man send),同时,不理会这次请求发送的数据.所以,需要封装socket_send()的函数用来处理这种情况,该函数会尽量将数据写完再返回，返回-1表示出错。在socket_send()内部,当写缓冲已满(send()返回-1,且errno为EAGAIN),那么会等待后再重试.这种方式并不很完美,在理论上可能会长时间的阻塞在socket_send()内部,但暂没有更好的办法.

ssize_t socket_send(int sockfd, const char* buffer, size_t buflen)
{
  ssize_t tmp;
  size_t total = buflen;
  const char *p = buffer;

  while(1)
  {
    tmp = send(sockfd, p, total, 0);
    if(tmp < 0)
    {
      // 当send收到信号时,可以继续写,但这里返回-1.
      if(errno == EINTR)
        return -1;

      // 当socket是非阻塞时,如返回此错误,表示写缓冲队列已满,
      // 在这里做延时后再重试.
      if(errno == EAGAIN)
      {
        usleep(1000);
        continue;
      }

      return -1;
    }

    if((size_t)tmp == total)
      return buflen;

    total -= tmp;
    p += tmp;
  }

  return tmp;
}