python---异步IO

转自：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/00143208573480558080fa77514407cb23834c78c6c7309000

 

问题：

同步IO：CPU的速度远远快于磁盘、网络等IO。在一个线程中，CPU执行代码的速度极快，然而，一旦遇到IO操作，如读写文件、发送网络数据时，就需要等待IO操作完成，才能继续进行下一步操作。

CPU高速执行能力和IO设备的龟速严重不匹配

 

解决方法：

法一：

多线程多进程：每个用户都会分配一个线程，如果遇到IO导致线程被挂起，其他用户的线程不受影响。

弊端：多线程和多进程的模型虽然解决了并发问题，但是系统不能无上限地增加线程。由于系统切换线程的开销也很大，所以，一旦线程数量过多，CPU的时间就花在线程切换上了，真正运行代码的时间就少了，结果导致性能严重下降。

法二：

异步IO：当代码需要执行一个耗时的IO操作时，它只发出IO指令，并不等待IO结果，然后就去执行其他代码了。一段时间后，当IO返回结果时，再通知CPU进行处理。

 

 

 

异步IO的实现：

 

按照普通顺序写出来的代码是无法实现异步IO的：

do_some_code()

f = open('/path/to/file','r')

r = f.read() # 线程停在这里等待IO完成

# IO完成后才执行下面的操作

do_some_code(r)

 

异步IO模型的实现需要一个消息循环，在消息循环中，主线程不断重复“读取消息---处理消息”这个过程

loop = get_event_loop()

while True:

event = loop.get_event()

process_event(event)

 

消息模型在桌面应用程序中的应用：

一个GUI程序的主线程：不断读取消息，处理消息。

所有的键盘，鼠标等信息都被发送到GUI程序的消息队列中，由GUI程序的主线程处理。

 

GUI线程处理键盘，鼠标的速度非常快，所以用户感觉不到延迟。

某些时候，GUI线程在一个消息处理的过程中遇到问题导致一次消息处理时间过长，此时，用户会感觉到整个GUI程序停止响应了，敲键盘、点鼠标都没有反应。

这种情况说明在消息模型中，处理一个消息必须非常迅速，否则，主线程将无法及时处理消息队列中的其他消息，导致程序看上去停止响应。

 

 

消息模型是如何解决同步IO必须等待IO操作这一问题的呢？

当遇到IO操作时，代码只负责发出IO请求，不等待IO结果，然后直接结束本轮消息处理，进入下一轮消息处理过程。当IO操作完成后，将收到一条“IO完成”的消息，处理该消息时就可以直接获取IO操作结果。

在“发出IO请求”到收到“IO完成”的这段时间里，同步IO模型下，主线程只能挂起，但异步IO模型下，主线程并没有休息，而是在消息循环中继续处理其他消息。这样，在异步IO模型下，一个线程就可以同时处理多个IO请求，并且没有切换线程的操作。对于大多数IO密集型的应用程序，使用异步IO将大大提升系统的多任务处理能力。