python I/O原理

内核缓冲区:流

流是open,socket,pipe等操作的内核对象,内核缓冲区就是这样的流
read:从流中读数据
write:向流中写入数据

假设有一个管道,进程A为管道的写入方,B为管道的读出方
1.内核缓冲区空
B作为读出方,阻塞

2.内核缓冲区非空
当A写入数据,内核缓冲区给B发信号,唤醒B,B就可以读了

3.内核缓冲区满
假设B未开启,A一直往内核缓冲区写,写满后A.内核缓冲区发信号给A,A阻塞
B读数据,内核缓冲区变为非空状态,内核缓冲区向A发送信号,A继续写

open

1.open函数返回文件描述符,
2.write写入缓冲区
3.flush将缓冲区内容写入硬盘文件
4.当内核缓冲区满后,自动调用flush,写入硬盘文件

pipe/fifo/mmap

1.进程1使用pipe/fifo/mmap创建描述符,写入(如果写满会阻塞)
2.进程2使用相同的方法创建描述符,读取(如果空会堵塞)
3.区别于open,flush相当于进程2的read,因为写入磁盘是被动的

socket

1.socket1使用pipe/fifo/mmap创建描述符,写入(如果写满会阻塞)
2.socket2使用相同的方法创建描述符,读取(如果空会堵塞)

多文件描述符操作

忙轮询

将所有的流从头到尾询问一遍,如果有数据,就可以处理,但是如果都没数据就会浪费cpu

无差别轮询 select/poll

1.没有I/O产生,程序阻塞在select/poll处,有一个或多个I/O时间,从阻塞中醒来,轮询一遍所有的流
2.使用select我们有O(n)无差别轮询复杂度,当监听的流变多时,效率差
3.select最大文件描述符1024,poll没有最大限制

回调 epoll

1.没有最大文件描述限制
2.不是轮询方式,有活跃可用的文件描述符调用callback函数,跟踪连接数无关,复杂度O(1)

参考:
https://www.cnblogs.com/maociping/p/5132583.html
https://www.cnblogs.com/gregoryli/p/7899010.html