【Netty权威指南】01-Linux网络模型简介

Linux的内核将所有外部设备都看做一个文件来操作,对一个文件的读写操作会调用内核提供的系统命令,返回一个 file descriptor(fd,文件描述符)。而对一个 socket的读写也会有相应的描述符,称为 socketfd( socket描述符),描述符就是一个数字,它指向内核中的一个结构体(文件路径,数据区等一些属性)。
根据UNIX网络编程对I/O模型的分类,UNIX提供了5种I/O模型,分别如下。

1. 阻塞I/O模型:最常用的I/O模型就是阻塞I/O模型,缺省情形下,所有文件操作都是阻塞的。我们以套接字接口为例来讲解此模型:在进程空间中调用 recvfrom,其系统调用直到数据包到达且被复制到应用进程的缓冲区中或者发生错误时才返回,在此期间直会等待,进程在从调用 recvfrom开始到它返回的整段时间内都是被阻塞的,因此被称为阻塞I/O模型,如图1-1所示。
2. 非阻塞I/O模型: recvfrom从应用层到内核的时候,如果该缓冲区没有数据的话,就直接返回一个 EWOULDBLOCK错误,一般都对非阻塞IO模型进行轮询检查这个状态,看内核是不是有数据到来,如图1-2所示。
3. I/O复用模型: Linux提供 select/poll,进程通过将一个或多个fd传递给 select或poll系统调用,阻塞在 select操作上,这样 select/poll可以帮我们侦测多个fd是否处于就绪状态。 select/poll是顺序扫描fd是否就绪,而且支持的fd数量有限,因此它的使用受到了一些制约。 Linux还提供了一个epoll系统调用, epoll使用基于事件驱动方式代替顺序扫描,因此性能更高。当有fd就绪时,立即回调函数 rollback,如图1-3所示。
4. 信号驱动I/O模型:首先开启套接口信号驱动I/O功能,并通过系统调用 sigaction执行一个信号处理函数(此系统调用立即返回,进程继续工作,它是非阻塞的)。当数据准备就绪时,就为该进程生成一个 SIGIO信号,通过信号回调通知应用程序调用 recvfrom来读取数据,并通知主循环函数处理数据,如图1-4所示。
5. 异步I/O:告知内核启动某个操作,并让内核在整个操作完成后(包括将数据从内核复制到用户自己的缓冲区)通知我们。这种模型与信号驱动模型的主要区别是:信号驱动I/O由内核通知我们何时可以开始一个I/O操作;异步I/O模型由内核通知我们I/O操作何时已经完成,如图1-5所示。

I/O多路复用技术

在I/O编程过程中,当需要同时处理多个客户端接入请求时,可以利用多线程或者I/O多路复用技术进行处理。I/O多路复用技术通过把多个I/O的阻塞复用到同一个 select的阻塞上,从而使得系统在单线程的情况下可以同时处理多个客户端请求。与传统的多线程多进程模型比,I/O多路复用的最大优势是系统开销小,系统不需要创建新的额外进程或者线程,也不需要维护这些进程和线程的运行,降低了系统的维护工作量,节省了系统资源,I/O多路复用的主要应用场景如下
◎服务器需要同时处理多个处于监听状态或者多个连接状态的套接字;
◎服务器需要同时处理多种网络协议的套接字。
目前支持I/O多路复用的系统调用有 select、 pselect、poll、epoll,在 Linux网络编程过程中,很长一段时间都使用 select做轮询和网络事件通知,然而 select的一些固有缺陷导致了它的应用受到了很大的限制,最终 Linux不得不在新的内核版本中寻找 select的替代方案,最终选择了 epoll。 epoll与 select的原理比较类似,为了克服 select的缺点, epoll作了很多重大改进,现总结如下。
1.支持一个进程打开的 socket描述符(FD)不受限制(仅受限于操作系统的最大文件句柄数)。
select最大的缺陷就是单个进程所打开的FD是有一定限制的,它由 FD SETSIZE设置,默认值是1024。epoll并没有这个限制,它所支持的FD上限是操作系统的最大文件句柄数,这个数字远远大于1024。例如,在1GB内存的机器上大约是10万个句柄左右,具体的值可以通过cat proc/sys/fs/file-max察看,通常情况下这个值跟系统的内存关系比较大。
2.I/O效率不会随着FD数目的增加而线性下降。
传统 select/poll的另一个致命弱点,就是当你拥有一个很大的 socket集合时,由于网络延时或者链路空闲,任一时刻只有少部分的socket是“活跃”的,但是 select/poll每次调用都会线性扫描全部的集合,导致效率呈现线性下降。 epoll不存在这个问题,它只会对“活跃”的 socket进行操作—这是因为在内核实现中, epoll是根据每个fd上面的 callback函数实现的。那么,只有“活跃”的 socket才会去主动调用 callback函数,其他idle状态的 socket则不会。在这点上,epoll实现了一个伪AlO。针对 epoll和 select性能对比的benchmark测试表明:如果所有的 socket都处于活跃态—例如一个高速LAN环境,epoll并不比 select/pol效率高太多;相反,如果过多使用 epoll_ctI,效率相比还有稍微地降低但是一旦使用 idle connections模拟WAN环境,epoll的效率就远在 select/poll之上了。
3.使用mmap加速内核与用户空间的消息传递。
无论是 select、poll还是 epoll都需要内核把FD消息通知给用户空间,如何避免不必要的内存复制就显得非常重要, epoll是通过内核和用户空间mmap同一块内存来实现的。
4.epoll的AP|更加简单。
包括创建一个epoll描述符、添加监听事件、阻塞等待所监听的事件发生、关闭 epoll描述符等。