Python教程：精简概述I/O模型与I/O操作

duanshuiLu点抗母

于 2020-05-26 14:35:40 发布

阅读量202

点赞数

本文链接：https://blog.csdn.net/qq_36824777/article/details/106355761

版权

Python教程：精简概述I/O模型与I/O操作

一. I/O 模型

1. 特指 Linux 下的网络 IO，一般分类:

阻塞IO（blocking IO）
非阻塞IO（non-blocking IO）
IO多路复用（IO multiplexing）
信号驱动IO（signal driven IO）
异步IO（asynchronous IO）

2. 一个网络 I/O 涉及两个系统对象:

应用进程（Process/Thread）
系统内核（Kernel）

3. 一个 read 操作会经历两个阶段:

等待数据就绪（Kernel Waiting for the data to be ready）
拷贝数据到进程（Copying the data from the kernel to the process）

4. 一个 I/O read 操作的执行流程：

1. Process 调用 Kernel 发出请求
    1.1 Kernel 等待数据准备就绪（Waiting）
    1.2 Kernel 拷贝数据到用户空间（Copying）
3. Kernel 通知 Process 拷贝完成
4. Process 接收数据，并进行处理

5. 对应 Python 中 TCP 通信过程：

1. server 端通过 recv() 调用 Kernel
    1.1 Kernel 等待接收 client 端 send() 数据并加入缓冲区
    1.2 Kernel 将缓冲区数据 copy 到 server 的用户内存空间
2. Kernel copy 完毕之后通知 server
3. server 接收并处理数据

6. 主要四种 I/O 模型的对比及演化：

a. 默认情况下，所有 Socket 接口都是阻塞型IO（blocking IO）

问题：Waiting 阶段、Copying 阶段处于阻塞状态，程序只能处理一个网络连接
解决方案：开启多线程/多进程
    效果：
        每个连接都拥有独立的线程/进程，任一连接阻塞都不会影响其他连接
    问题：
        遇到需要同时响应大量的连接请求，多线程/多进程会严重占据系统资源
改进方案：连接池、线程池
    效果：
        连接池可减少创建/关闭连接的频率，重用已有连接
        线程池可减少创建/销毁线程的频率，维持一定合理数量的线程
    问题：
        “池”始终有上限，当请求数量大大超过上限时，系统响应效率未必更高

b. 轮询检测 Kernel 数据是否就绪，实现非阻塞IO（non-blocking IO）

效果：
    程序能够在等待数据就绪的时间里，去执行其他工作
问题：
    不断循环往复地调用系统将，大幅度推高 CPU 占用率
    人为加入延迟降低循环速度，又会导致数据吞吐量降低

c. 系统提供单一线程即可处理多连接的 select 接口（IO multiplexing）

效果：占用资源少，不会消耗过多 CPU，能够同时为多客户端提供服务
问题：对于单一客户端的连接请求并不能处理得更快，不适用于单个连接

d. Python 通过 asyncio 模块实现了异步IO模型（asynchronous IO）

异步IO下的执行流程：
    1. Process 调用 Kernel 发出请求，立刻去做其他事务
    2. Kernel 先立刻返回应答给 Process
    3. Kernel 再准备数据（Waiting）
    4. Kernel 拷贝到数据到用户空间（Copying）
    5. Kernel 完成数据拷贝，发 Signal 到 Process
    6. Process 回来继续该 IO 操作