先理解下什么是文件描述符。文件描述符:内核(kernel)利用文件描述符(file descriptor)来访问文件。
文件描述符是非负整数。打开现存文件或新建文件时,内核会返回一个文件描述符。读写文件也需要使用文件描述符来指定待读写的文件。
文件描述符为一个大于等于 0的整数。系统启动后默认打开的文件流有标准输入设备、标准输出设备和标准错误输出设备。
习惯上,标准输入(standard input)的文件描述符是 0,标准输出(standard output)是 1,标准错误(standard error)是 2。
以后打开的文件的文件描述符分配依次增加。尽管这种习惯并非 Unix 内核的特性,但是因为一些 shell和很多应用程序都使用这种习惯,
因此,如果内核不遵循这种习惯的话,很多应用程序将不能使用。
POSIX 定义了 STDIN_FILENO、STDOUT_FILENO 和 STDERR_FILENO 来代替 0、1、2。
select poll epoll简介:
select | select本质上是通过设置或者检查存放文件描述符标志位的数据结构来进行下一步处理。这样所带来的缺点是: 1 单个进程可监视的文件描述符数量被限制 2 需要维护一个用来存放大量文件描述符的数据结构,这样会使得用户空间和内核空间在传递该结构时复制开销大 3 对socket进行扫描时是线性扫描 |
poll | poll本质上和select没有区别,它将用户传入的数组拷贝到内核空间,然后查询每个文件描述符对应的设备状态,如果设备就绪则在设备等待队列中加入一项并继续遍历,如果遍历完所有文件描述符后没有发现就绪设备,则挂起当前进程,直到设备就绪或者主动超时,被唤醒后它又要再次遍历文件描述符。这个过程经历了多次无谓的遍历。 它没有最大连接数的限制,原因是它是基于链表来存储的,但是同样有一个缺点: 大量的文件描述符的数组被整体复制于用户态和内核地址空间之间,而不管这样的复制是不是有意义。 poll还有一个特点是“水平触发”,如果报告了文件描述符后,没有被处理,那么下次poll时会再次报告该文件描述符。 |
epoll | epoll支持水平触发和边缘触发,最大的特点在于边缘触发,它只告诉进程哪些文件描述符刚刚变为就需态,并且只会通知一次。 在前面说到的复制问题上,epoll使用mmap减少复制开销。 还有一个特点是,epoll使用“事件”的就绪通知方式,通过epoll_ctl注册文件描述符,一旦该文件描述符就绪,内核就会采用类似callback的回调机制来激活该文件描述符,epoll_wait便可以收到通知 |
三者主要的区别包括三个方面:
1、支持一个进程所能打开的最大连接数:
select | 单个进程所能打开的最大连接数有FD_SETSIZE宏定义,其大小是32个整数的大小(在32位的机器上,大小就是32*32,同理64位机器上FD_SETSIZE为32*64),当然我们可以对进行修改,然后重新编译内核,但是性能可能会受到影响,这需要进一步的测试。 |
poll | poll本质上和select没有区别,但是它没有最大连接数的限制,原因是它是基于链表来存储的 |
epoll | 虽然连接数有上限,但是很大,1G内存的机器上可以打开10万左右的连接,2G内存的机器可以打开20万左右的连接 |
2、文件描述符剧增后IO效率:
select | 因为每次调用时都会对连接进行线性遍历,所以随着文件描述符的增加会造成遍历速度慢的“线性下降性能问题”。 |
poll | 同上 |
epoll | 因为epoll内核中实现是根据每个文件描述符上的callback函数来实现的,只有活跃的socket才会主动调用callback,所以在活跃socket较少的情况下,使用epoll没有前面两者的线性下降的性能问题,但是所有socket都很活跃的情况下,可能会有性能问题。 |
3、消息传递方式:
select | 内核需要将消息传递到用户空间,都需要内核拷贝动作 |
poll | 同上 |
epoll | epoll通过内核和用户空间共享一块内存来实现的 |
在选择select,poll,epoll时要根据具体的使用场合以及这三种方式的自身特点。表面上看epoll的性能最好,但是在连接数少并且连接都十分活跃的情况下,select和poll的性能可能比epoll好,因为epoll的通知机制需要很多函数回调。