Python 协程

最新推荐文章于 2023-12-06 18:12:09 发布

syztoo

最新推荐文章于 2023-12-06 18:12:09 发布

阅读量110

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/weixin_42595012/article/details/97149045

版权

Python 专栏收录该内容

24 篇文章 1 订阅

订阅专栏

了解协程之前，先简单介绍下进程和线程。

进程是什么呢？

直白地讲，进程就是应用程序的启动实例。比如我们运行一个游戏，打开一个软件，就是开启了一个进程。

进程拥有代码和打开的文件资源、数据资源、独立的内存空间。

线程又是什么呢？

线程从属于进程，是程序的实际执行者。一个进程至少包含一个主线程，也可以有更多的子线程。

线程拥有自己的栈空间。

对操作系统来说，线程是最小的执行单元，进程是最小的资源管理单元。

无论进程还是线程，都是由操作系统所管理的。

那什么是协程呢？

协程，又称微线程，纤程，英文名 Coroutine，是一种比线程更加轻量级的存在。正如一个进程可以拥有多个线程一样，一个线程也可以拥有多个协程。

和进程和线程不同之处在于，协程不是被操作系统内核所管理，而完全是由程序所控制（也就是在用户态执行）。

所以协程具极高的执行效率。因为子程序切换不是线程切换，而是由程序自身控制，因此，没有线程切换的开销，和多线程比，线程数量越多，协程的性能优势就越明显。

另外就是协程不需要多线程的锁机制，因为一个协程只能运行在一个线程里面，不存在变量冲突，在协程中控制共享资源不加锁，只需要判断状态就好了，所以执行效率比多线程高很多。

协程的常用模式？

因为协程是一个线程执行，那怎么利用多核 CPU 呢？最简单的方法是多进程+协程，既充分利用多核，又充分发挥协程的高效率，可获得极高的性能。

协程的底层实现方式？

Python 对协程的支持是通过 generator实现的。

在 generator 中，我们不但可以通过 for 循环来迭代，还可以不断调用 next() 函数获取由 yield 语句返回的下一个值。

但是 Python 的 yield 不但可以返回一个值，它还可以接收调用者发出的参数。

来看例子

传统的生产者-消费者模型是一个线程写消息，一个线程取消息，通过锁机制控制队列和等待，但一不小心就可能死锁。

如果改用协程，生产者生产消息后，直接通过 yield 跳转到消费者开始执行，待消费者执行完毕后，切换回生产者继续生产，效率极高：

def consumer():
    r = ''
    while True:
        n = yield r
        if not n:
            return
        print('[CONSUMER] Consuming %s...' % n)
        r = '200 OK'

def produce(c):
    c.send(None)
    n = 0
    while n < 5:
        n = n + 1
        print('[PRODUCER] Producing %s...' % n)
        r = c.send(n)
        print('[PRODUCER] Consumer return: %s' % r)
    c.close()

c = consumer()
produce(c)

执行结果：

[PRODUCER] Producing 1...
[CONSUMER] Consuming 1...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 2...
[CONSUMER] Consuming 2...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 3...
[CONSUMER] Consuming 3...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 4...
[CONSUMER] Consuming 4...
[PRODUCER] Consumer return: 200 OK
[PRODUCER] Producing 5...
[CONSUMER] Consuming 5...
[PRODUCER] Consumer return: 200 OK

要看懂上面的例子，关键在于要理解下面几点：

1、例子中的 c.send(None)，其功能类似于 next(c)，比如：

>>> def num():
        yield 1
        yield 2
    
>>> c = num()
>>> c.send(None)
1
>>> c.send(None)
2
>>> c.send(None)
Traceback (most recent call last):
  File "<pyshell#9>", line 1, in <module>
    c.send(None)
StopIteration
>>>

2、n = yield r，这里是一条语句，但要理解两个知识点，赋值语句先计算 = 右边，由于右边是 yield 语句，所以 yield 语句执行完以后，进入暂停，而赋值语句在下一次启动生成器的时候首先被执行；

3、send 在接受 None 参数的情况下，等同于 next(generator) 的功能，但 send 同时也可接收其他参数，比如例子中的c.send(n)，要理解这种用法，先看一个例子：

>>> def num():
        a = yield 1
        while True:
            a = yield a
       
>>> c = num()
>>> c.send(None)
1
>>> c.send(5)
5
>>> c.send(100)
100

在上面的例子中，首先使用 c.send(None)，返回生成器的第一个值，a = yield 1 ，也就是1（但此时，并未执行赋值语句），接着我们使用了c.send(5)，再次启动生成器，并同时传入了一个参数 5，再次启动生成器的时候，从上次 yield 语句断掉的地方开始执行，即 a 的赋值语句，由于我们传入了一个参数5，所以 a 被赋值为 5，接着程序进入 whlie 循环，当程序执行到 a = yield a，同理，先返回生成器的值 5，下次启动生成器的时候，再执行赋值语句，以此类推...