多路复用 I/O 多路转接 select / poll / epoll

多路复用的方式是真正实用的服务器程序,非多路复用的网络程序只能作为学习或着陪测的角色。本文说下个人接触过的多路复用函 数:select/poll/epoll/port。kqueue的*nix系统没接触过,估计熟悉了上面四种,kqueue也只是需要熟悉一下而已。
一、 select模型
select原型:

int  select( int  n, fd_set  * readfds, fd_set  * writefds, fd_set  * exceptfds, struct timeval  * timeout);

其中参数n表示监控的所有fd中最大值+1。
和select模型紧密结合的四个宏,含义不解释了:

FD_CLR( int  fd, fd_set  * set);
FD_ISSET(
int  fd, fd_set  * set);
FD_SET(
int  fd, fd_set  * set);
FD_ZERO(fd_set 
* set);

理解select模型的关键在于理解fd_set ,为说明方便,取 fd_set长度为1字节,fd_set中的每一bit可以对应一个文件描述符fd。则1字节长的fd_set最大可以对应8个fd。
(1)执行 fd_set set; FD_ZERO(&set);则set用位表示是0000,0000。
(2)若fd=5,执行 FD_SET(fd,&set);后set变为0001,0000(第5位置为1)
(3)若再加入fd=2,fd=1,则set变为 0001,0011
(4)执行select(6,&set,0,0,0)阻塞等待
(5)若fd=1,fd=2上都发生可读事件, 则select返回,此时set变为0000,0011。注意:没有事件发生的fd=5被清空。

基于上面的讨论,可以轻松得出select模型的特点:
(1)可监控的文件描述符个数取决与sizeof(fd_set)的值。我这边服务 器上sizeof(fd_set)=512,每bit表示一个文件描述符,则我服务器上支持的最大文件描述符是512*8=4096。据说可调,另有说虽 然可调,但调整上限受于编译内核时的变量值。本人对调整fd_set的大小不太感兴趣,参考http://www.cppblog.com/CppExplore/archive/2008/03/21/45061.html 中 的模型2(1)可以有效突破select可监控的文件描述符上限。
(2)将fd加入select监控集的同时,还要再使用一个数据结构array 保存放到select监控集中的fd,一是用于再select返回后,array作为源数据和fd_set进行FD_ISSET判断。二是select返 回后会把以前加入的但并无事件发生的fd清空,则每次开始select前都要重新从array取得fd逐一加入(FD_ZERO最先),扫描array的 同时取得fd最大值maxfd,用于select的第一个参数。
(3)可见select模型必须在select前循环array(加fd,取 maxfd),select返回后循环array(FD_ISSET判断是否有时间发生)。

下面给一个伪码说明基本select模型的服务器模型:

array[slect_len];
nSock
= 0 ;
array[nSock
++ ] = listen_fd;(之前listen port已绑定并listen)
maxfd
= listen_fd;
while {
   FD_ZERO(
& set);
   foreach (fd in array) 
   
{
       fd大于maxfd,则maxfd
= fd
       FD_SET(fd,
& set)
   }

   res=select(maxfd
+ 1 , & set, 0 , 0 , 0 );
   
if (FD_ISSET(listen_fd, & set))
   
{
       newfd
= accept(listen_fd);
       array[nsock
++ ] = newfd;
            if(--res<=0) continue
   }

   foreach 下标1开始 (fd in array) 
   
{
       
if (FD_ISSET(fd, & set))
          执行读等相关操作
          如果错误或者关闭,则要删除该fd,将array中相应位置和最后一个元素互换就好,nsock减一
             if(--res<=0) continue

   }

}

二、poll模型
poll原型:

int  poll(struct pollfd  * ufds, unsigned  int  nfds,  int  timeout);
struct pollfd 
{
                       
int  fd;            /*  file descriptor  */
                       
short  events;      /*  requested events  */
                       
short  revents;     /*  returned events  */
               }
;

和select相比,两大改进:
(1)不再有fd个数的上限限制,可以将参数ufds想象成栈低指针,nfds是栈中元素个数,该栈可以无 限制增长
(2)引入pollfd结构,将fd信息、需要监控的事件、返回的事件分开保存,则poll返回后不会丢失fd信息和需要监控的事件信 息,也就省略了select模型中前面的循环操作,返回后的循环仍然不可避免。另每次poll阻塞操作都会自动把上次的revents清空。
poll 的服务器模型伪码:

struct pollfd fds[POLL_LEN];
unsigned 
int  nfds = 0 ;
fds[
0 ].fd = server_sockfd;
fds[
0 ].events = POLLIN | POLLPRI;
nfds
++ ;
while {
  res=poll(fds,nfds,
- 1 );
  
if (fds[ 0 ].revents & (POLLIN | POLLPRI)) {执行accept并加入fds中,if(--res<=0)continue}
  循环之后的fds,
if (fds[i].revents & (POLLIN | POLLERR )) {操作略if(--res<=0)continue}
}

注意select和poll中res的检测,可有效减少循环的次数,这也是大量死连接存在时,select和poll性能下降厉害的原因。

三、epoll模型

epoll阻塞操作的原型:

int  epoll_wait( int  epfd, struct epoll_event  *  events,  int  maxevents,  int  timeout)
epoll引入了新的结构epoll_event。
typedef union epoll_data 
{
                 
void   * ptr;
                 
int  fd;
                 __uint32_t u32;
                 __uint64_t u64;
            }
 epoll_data_t;

            struct epoll_event 
{
                 __uint32_t events;  
/*  Epoll events  */
                 epoll_data_t data;  
/*  User data variable  */
            }
;

与以上模型的优点:
(1)它保留了poll的两个相对与select的优点
(2)epoll_wait的参数events作为出 参,直接返回了有事件发生的fd,epoll_wait的返回值既是发生事件的个数,省略了poll中返回之后的循环操作。
(3)不再象 select、poll一样将标识符局限于fd,epoll中可以将标识符扩大为指针,大大增加了epoll模型下的灵活性。
epoll的服务器 模型伪码:

epollfd = epoll_create(EPOLL_LEN);
epoll_ctl(epollfd,EPOLL_CTL_ADD,server_sockfd,
& ev)
struct epoll_event events[EPOLL_MAX_EVENT];
while
{
nfds
= epoll_wait(epollfd,events,EPOLL_MAX_EVENT, - 1 );
循环nfds,是server_sockfd则accept,否则执行响应操作
}

epoll使用中的问题:
(1)epoll_ctl的EPOLL_CTL_DEL操作中,最后一个参数是无意义的,但是在小版本号过低的 2.6内核下要求最后一个参数一定非NULL,否则返回失败,并且返回的errno在man epoll_ctl中不存在,因此安全期间,保证epoll_ctl的最后一个参数总非NULLL。
(2)如果一个fd(比如管道)的事件导致了 另一个fd2的删除,则必须扫描返回结果集中是否有fd2,有则在结果集中删除,避免冲突。
(3)有文章说epoll在G网环境下性能会低于 poll/select,看有些测试,给出的拐点在2w/s并发之后,我本人的工作范围不可能达到这么高的并发,个人在测试性能的时候最大也是取的1w /s的并发,一个是因为系统单进程允许打开的文件描述符最大值,4w的数字太高了,另一个就是我这边服务器的性能达不到那么高的性能,极限1.7w/s的 响应,那测试的数据竟然在2w并发的时候还有2w的响应,不知道是什么硬件配置。或许等有了G网的环境,会关注epoll高并发下的性能下降


(4)epoll的LT和ET性能的差异,我测试的数据表明两者性能相当,“使用epoll就是为了高性能,就是要使用ET模式”这个说 法是站不住脚的。个人倾向于使用LT模式,编程简单、安全。

四、port模型
port则和epoll非常接近,不需要前后的两次扫描,直接返回有事件的结果,可以 象epoll一样绑定指针,不同点是
(1)epoll可以返回多个事件,而port一次只返回一个(port_getn可以返回多个,但是在不到 指定的n值时,等待直到达到n个)
(2)port返回的结果会自动port_dissociate,如果要再次监控,需要重新 port_associate
这个就不多说了。

可以看出select-->poll-->epoll/port的演化路线:
(1) 从readset、writeset等分离到 将读写事件集中到统一的结构
(2)从阻塞操作前后的两次循环 到 之后的一次循环  到精确返回有事件发生的fd
(3)从只能绑定fd信息,到可以绑定指针结构信息

五、抽象接口
综合以上多路复用函数的特点,可以进行统一的封装,这里给出我封装的接口,也算是给一个思 路:

 virtual  int  init() = 0 ;
 virtual 
int  wait() = 0 ;
 virtual 
void   *  next_result() = 0 ;
 virtual 
void  delete_from_results( void   *  data) = 0 ;
 virtual 
void   *  get_data( void   *  event) = 0 ;
 virtual 
int  get_event( void   *  event) = 0 ;
 virtual 
int  add_data( int  fd,XPollData  *  data) = 0 ;
 virtual 
int  delete_data( int  fd,XPollData  * data) = 0 ;
 virtual 
int  change_data( int  fd,XPollData  * data) = 0 ;
 virtual 
int  reset_data( int  fd,XPollData  * data) = 0 ;

使用的时候就是先init,再wait,再循环执行next_result直到空,每个result,使用get_data和get_event挨 个处理,如果某个fd引起另一个fd关闭,调delete_from_results(除epoll,其它都直接return),处理完 reset_data(select和port用,poll/epoll直接return)。

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭