Nginx基础. eventfd, 异步IO 与epoll的相互协作

关于eventfd.
对于eventfd, 这里只是简单的讲它的功能. 看manpage就足够了, 其中的例子也很容易看懂
eventfd函数可以创建一个efd描述符, 该描述符在内核中维护着一个计数器counter.
在调用eventfd时, 可以传入参数指定内核中维护着的计数器的值.
如果这样调用：

      int efd = eventfd(0, 0);

那么计数器值为0.
如果此时调用:

      read(efd, &ret, sizeof(ret)); 

那么会休眠. 直到有人调用：

      int add = 1;
      write(efd, &add, sizeof(add))

这时候上面的read才会停止休眠, 得到的ret值为1. 如果write写入的add值不是1, 而是5
那么read函数得到的ret值也会是5. read之后, efd对应的内核中的计数器值就回到了0, 此时再次调用:

      read(efd, &ret, sizeof(ret)); 

那么进程又会阻塞. 除非, efd被你设置成了非阻塞... 会返回EAGAIN错误.



关于异步IO
这里将认识异步IO, 以及epoll是如何与异步IO相互协作的.
在linux下, 有两种异步IO. 一种是由glibc实现的aio, 它是直接在用户空间用pthread进行模拟的伪异步IO; 还有一种是内核实现的aio. 相关的系统调用是以 io_xxx 形式出现的.
在nginx中, 采用的是内核实现的aio, 只有在内核中成功完成了磁盘操作, 内核才会通知进程, 进而使磁盘文件的处理与网络事件的处理同样高效.
内核提供的aio的优点是, 能够同时提交多个io请求给内核, 当大量事件堆积到IO设备的队列中时, 内核将发挥出io调度算法的优势, 对到来的事件处理进行优化, 合并等.
这种内核级别的aio缺点也是很明显的, 它是不支持缓存操作的, 即使需要操作的文件块在linux文件缓存中已经存在, 也不会通过读取缓存来代替实际对磁盘的操作, 所以尽管相对于阻塞进程来说有了很大的好转, 但对于单个请求来说, 还是有可能降低实际的处理效率. 因为本可以从缓存中读的数据在使用异步IO后一定会从磁盘读取.
所以异步IO并不是完美的. 如果大部分用户请求对文件的操作都会落到文件缓存中, 那么放弃异步IO可能是更好的选择.
目前, Nginx仅支持读文件的异步IO, 因为正常写入文件往往是写入内存就返回, 相比于异步IO效率明显提高了.


异步IO方法
在理解异步IO方法时, 为了更好的理解这些方法, 与epoll相关方法做比较则更容易理解.

int io_setup(unsigned nr_events, aio_context_t *ctxp);
        初始化异步IO上下文. 与epoll相比, 类似epoll_create. nr_events表示异步IO上下文可以处理事件的最小个数
        通过ctxp获得的上下文描述符与epoll_create返回的描述符类似, 贯穿始终.
int io_submit(aio_context_t ctx_id, long nr, struct iocb **iocbpp);
        提交文件异步IO操作. iocbpp是提交的事件数组的首个元素地址, nr是提交的事件个数
        返回值表示成功提交的事件个数. 类似epoll中的 epoll_ctl + EPOLL_CTL_ADD
int io_cancel(aio_context_t ctx_id, struct iocb *iocb, struct io_event *result);
        取消某个IO操作
        类似epoll中的epoll_ctl + EPOLL_CTL_DEL
int io_getevents(aio_context_t ctx_id, long min_nr, long nr, struct io_event *events, struct timespec *timeout);
        从已完成的文件异步IO操作队列中读取操作
        其中, min_nr表示至少获取min_nr个事件; nr表示至多获取nr个事件; events是IO操作完成的事件数组
        类似epoll中的epoll_wait
int io_destroy(aio_context_t ctx);
        销毁异步IO上下文.

对于一个进程来说, 通常一个异步IO就可以了, 因为一个异步IO可以同时包含很多异步IO操作.
在调用io_setup初始化完成异步IO上下文后, 将会使用io_submit提交异步IO操作.
其中的struct iocb结构体如下：

struct iocb {
        //存储业务需要的指针. 在Nginx中, 这个字段通常存储对应ngx_event_t对象的指针.
        //它实际上与io_getevents中返回的io_event结构体的data成员是完全一致的.
      uint64_t aio_data;
        //操作码.  比如IO_CMD_PREAD指定异步读操作;  IO_CMD_PWRITE异步写操作;  IO_CMD_FSYNC强制同步等...
      uint16_t aio_lio_opcode;
        //请求的优先级
      int16_t aio_reqprio; 
        //文件描述符
      uint32_t aio_fields;
        //读写操作对应的用户态缓冲区.
      uint64_t aio_buf;
        //读写操作的字节长度
      uint64_t aio_nbytes;
      uint64_t aio_offset;
        //表示可以设置为IOCB_FLAG_RESFD, 它会告诉内核当有异步IO请求处理完成时使用eventfd进行通知
        //可与epoll配合使用. 下面会涉及到
      uint32_t aio_flags;
        //表示当使用IOCB_FLAG_RESFD标志时, 用于进行事件通知的句柄
      uint64_t aio_resfd;

        ...
};

在设置好iocb结构体后, 就可以向异步IO提交事件了. 也可以使用io_cancel将已经提交的事件取消.
那么在异步IO操作完成后, 如何使用i