一、概述
在传统的阻塞I/O模型中,一个Socket(套接字)通常只能处理一个TCP连接,即一对一的关系。每个TCP连接都需要分配一个独立的Socket来处理。
然而,使用多路复用技术,可以在单个线程中同时监视多个Socket的状态,以确定哪些Socket有可读或可写事件。通过在单个线程内等待和处理多个连接的事件,高效地处理大量的并发连接,减少资源消耗。
二、epoll
在linux上多路复用技术有select、poll、epoll。其中epoll的性能表现是最优异的,能支持的并发量也最大。linux中和epoll相关的函数有如下三个:
- epoll_create: 创建一个epoll对象。
- epoll_ctl: 向epoll对象添加要管理的连接。
- epoll_wait: 等待epoll对象管理的连接上的IO事件。
三、epoll内核对象的创建
用户进程调用epoll_create时,内核会创建一个eventpoll的内核对象,并把它加入到当前进程已打开的文件列表中。eventpoll内核对象的定义如下:,
struct eventpoll {
//等待队列
wait_queue_head_t wq;
//就绪的描述符链表
struct list_head rdllist;
//每个eventpoll对象中都有一颗红黑树
struct rb_root rbr;
}
- wq:等待队列。用户进程陷入阻塞时,其进程描述符会保存在eventpoll对象的等待队列。
- rbr:一颗红黑树。用来管理用户进程添加进来的所有的socket,为了支持对海量连接的高效查找、插入和删除。
- rdllist:就绪的描述符链表。当有连接事件就绪的时候,内核会把就绪的连接放到rdllist,这样只需要判断rdllist链表就能找出就绪的连接,而不用去遍历整颗树。
四、epoll添加socket
这一步是由用户进程调用epoll_ctl完成的。假设现在和客户端的多个连接的socket都创建好了,也创建好了eventpoll对象。epoll_ctl在注册每一个socket的时候,内核都会做如下三件事情:
- 初始化一个红黑树节点对象epitem。
- 在socket对象的等待队列中,注册事件到达回调函数ep_poll_callback。
- 将epitem插入eventpoll的红黑树。
struct epitem {
......
struct epoll_filefd ffd; //socket句柄
struct eventpoll *ep; //所属的eventpoll
}
通过epoll_ctl添加两个socke以后,这些内核数据结构最终在进程中的关系如下:
4.1 设置socket对象等待队列
epoll_ctl先完成epitem对象的初始化后,接着就会去设置socket的等待队列,把ep_poll_callback设置为socket数据就绪时的回调函数,注册到socket等待队列:
// include/linux/wait.h
static inline void init_waitqueue_func_entry(wait_queue_t *q, wait_queue_func_t func){
q->flags = 0;
q->private = NULL;
//将ep_poll_callback注册到socket等待队列wait_queue_t
q->func = func;
}
前面介绍的阻塞式IO,private设置的是当前用户进程描述符current。而多路复用IO,所有的socket是交由epoll对象管理的,唤醒用户进程是由eventpoll对象完成的,所以这里的private就设置成了NULL。
五、等待接收数据
这一步是由epoll_wait来做的。当epoll_wait被调用时,观察eventpoll->rdllist就绪链表里有没有数据,如果有数据,就返回;如果没有数据,把当前用户进程添加到eventpoll的等待队列,然后把自己阻塞掉。所以说,epoll也是会阻塞的,当实在没什么事可做的时候,占着CPU也没什么意义。需要注意的是,阻塞式IO中,是把当前进程添加到socket的等待队列。
// fs/eventpoll.c
SYSCALL_DEFINE4(epoll_wait, int, epfd, ...){
......
error = ep_poll(ep,events,maxevents,timeout);
}
static int ep_poll(struct eventpoll *ep, ...){
......
// 1、判断就绪链表上有没有数据
if(!ep_events_available(ep)){
// 2、把当前用户进程current添加到eventpoll等待队列wq
init_waitqueue_entry(&wait, current);
__add_wait_queue_exclusive(&ep->wq, &wait);
for(;;){
// 3、设置用户进程状态,并调用schedule_hrtimeout_range让出CPU
set_current_state(TASK_INTERRUPTIBLE);
......
}
}
}
static inline void init_waitqueue_entry(wait_queue_t *q, struct task_struct *p){
q->flags = 0;
// 当前用户进程
q->private = p;
//设置epoll等待队列的回调函数
q->func = default_wake_function;
}
设置了epoll等待队列的回调函数default_wake_function。这里需要注意的是,前面介绍的阻塞式IO中,内核唤醒用户进程的函数也是default_wake_function。
static inline void __add_wait_queue_exclusive(wait_queue_head_t *q, wait_queue_t *wait){
//当前用户进程对应的等待添加到epoll的等待队列
__add_wait_queue(q, wait);
}
前面说过,当网卡数据达到时,内核ksoftirqd线程会将数据放到socket对象的接收队列,接着调用socket的数据就绪回调函数sk_data_ready,这里不在过多介绍。
epoll_ctl已经在socket等待队列里注册了回调函数ep_poll_callback,sk_data_ready会调用它。
// fs/eventpoll.c
static int ep_poll_callback(wait_queue_t *wait, unsigned mode, int sync, void *key){
// 1、找到socket对应的epitem
struct epitem *epi = ep_item_from_wait(wait);
// 2、找到epitem对应的eventpoll
struct eventpoll *ep = epi->ep;
// 3、将epitem添加到eventpoll的就绪链表
list_add_tail(&epi->rdllink, &ep->rdllist);
// 4、查看eventpoll的等待队列上是否有等待
if (waitqueue_active(&ep->wq))
wake_up_lock(&ep->wq);
}
wake_up_lock()最终会调用epoll_wait传入的epoll等待队列回调函数default_wake_function来唤醒用户进程。
// kernel/sched/core.c
int default_wake_function(wait_queue_t *curr, unsigned mode, int wake_flags, void *key){
return try_to_wake_up(curr->private, mode, wake_flags);
}
看一下epoll是如何把rdllist中就绪的事件返回给用户进程的:
// fs/eventpoll.c
static int ep_poll(...){
......
__remove_wait_queue(&ep->wq, &wait);
set_current_state(TASK_RUNNING);
//给用户进程返回就绪事件
ep_send_events(ep, events, maxevents);
}
六、Java NIO
如下是服务器端Java NIO的典型写法:
while(true){
selector.select();//这是一个阻塞方法,直到注册的channel有事件传过来,会放开阻塞。
Set<SelectionKey> selectionKeys = selector.selectedKeys();
......
}
eventpoll,顾名思义就是事件轮询。所谓的事件轮询就是通过不断调用系统调用epoll_wait来等待事件的发生。在事件轮询中,用户代码会反复进行系统调用epoll_wait函数,该函数将会一直阻塞等待,直到返回事件。
当有事件发生时,epoll_wait函数将返回一个正整数,表示收到的事件数量。用户代码可以通过遍历事件列表来逐个处理这些事件,例如读取或写入数据等。
七、总述
实际上,只要活儿足够多,rdllist一直有数据,epoll_wait根本就不会让用户进程阻塞,用户进程会一直干活。这也是epoll性能高的关键所在。由一个内核eventpoll对象管理着所有的socket连接。IO多路复用,我的理解是复用了一个eventpoll对象。