python高级7.多任务-协程

7.2生成器

1.生成器

利用迭代器，我们可以在每次迭代获取数据（通过next()方法）时按照特定的规律进行生成。但是我们在实现一个迭代器时，关于当前迭代到的状态需要我们自己记录，进而才能根据当前状态生成下一个数据。为了达到记录当前状态，并配合next()函数进行迭代使用，我们可以采用更简便的语法，即生成器(generator)。生成器是一类特殊的迭代器。

2.创建生成器方法1

要创建一个生成器，有很多种方法。第一种方法很简单，只要把一个列表生成式的 [ ] 改成 ( )

In [15]: L = [ x*2 for x in range(5)]

In [16]: L
Out[16]: [0, 2, 4, 6, 8]

In [17]: G = ( x*2 for x in range(5))

In [18]: G
Out[18]: <generator object at 0x7f626c132db0>

In [19]:

创建 L 和 G 的区别仅在于最外层的 [ ] 和 ( ) ， L 是一个列表，而 G 是一个生成器。我们可以直接打印出列表L的每一个元素，而对于生成器G，我们可以按照迭代器的使用方法来使用，即可以通过next()函数、for循环、list()等方法使用。

In [19]: next(G)
Out[19]: 0

In [20]: next(G)
Out[20]: 2

In [21]: next(G)
Out[21]: 4

In [22]: next(G)
Out[22]: 6

In [23]: next(G)
Out[23]: 8

In [24]: next(G)

---

StopIteration Traceback (most recent call last)
in ()
----> 1 next(G)

StopIteration:

In [25]:

In [26]: G = ( x*2 for x in range(5))

In [27]: for x in G:
…: print(x)
…:
0
2
4
6
8

In [28]:

3.创建生成器方法2

generator非常强大。如果推算的算法比较复杂，用类似列表生成式的 for 循环无法实现的时候，还可以用函数来实现。

我们仍然用上一节提到的斐波那契数列来举例，回想我们在上一节用迭代器的实现方式：

class FibIterator(object):
“”“斐波那契数列迭代器”""
def init(self, n):
“”"
:param n: int, 指明生成数列的前n个数
“”"
self.n = n
# current用来保存当前生成到数列中的第几个数了
self.current = 0
# num1用来保存前前一个数，初始值为数列中的第一个数0
self.num1 = 0
# num2用来保存前一个数，初始值为数列中的第二个数1
self.num2 = 1

def __next__(self):
    """被next()函数调用来获取下一个数"""
    if self.current < self.n:
        num = self.num1
        self.num1, self.num2 = self.num2, self.num1+self.num2
        self.current += 1
        return num
    else:
        raise StopIteration

def __iter__(self):
    """迭代器的__iter__返回自身即可"""
    return self

注意，在用迭代器实现的方式中，我们要借助几个变量(n、current、num1、num2)来保存迭代的状态。现在我们用生成器来实现一下。

In [30]: def fib(n):
…: current = 0
…: num1, num2 = 0, 1
…: while current < n:
…: num = num1
…: num1, num2 = num2, num1+num2
…: current += 1
…: yield num
…: return ‘done’
…:

In [31]: F = fib(5)

In [32]: next(F)
Out[32]: 1

In [33]: next(F)
Out[33]: 1

In [34]: next(F)
Out[34]: 2

In [35]: next(F)
Out[35]: 3

In [36]: next(F)
Out[36]: 5

In [37]: next(F)

---

StopIteration Traceback (most recent call last)
in ()
----> 1 next(F)

StopIteration: done

在使用生成器实现的方式中，我们将原本在迭代器__next__方法中实现的基本逻辑放到一个函数中来实现，但是将每次迭代返回数值的return换成了yield，此时新定义的函数便不再是函数，而是一个生成器了。简单来说：只要在def中有yield关键字的 就称为 生成器

此时按照调用函数的方式( 案例中为F = fib(5) )使用生成器就不再是执行函数体了，而是会返回一个生成器对象（ 案例中为F ），然后就可以按照使用迭代器的方式来使用生成器了。
In [38]: for n in fib(5):
…: print(n)
…:
1
1
2
3
5

In [39]:

但是用for循环调用generator时，发现拿不到generator的return语句的返回值。如果想要拿到返回值，必须捕获StopIteration错误，返回值包含在StopIteration的value中：

In [39]: g = fib(5)

In [40]: while True:
…: try:
…: x = next(g)
…: print(“value:%d”%x)
…: except StopIteration as e:
…: print(“生成器返回值:%s”%e.value)
…: break
…:
value:1
value:1
value:2
value:3
value:5
生成器返回值:done

In [41]:

总结

使用了yield关键字的函数不再是函数，而是生成器。（使用了yield的函数就是生成器）

yield关键字有两点作用：

1.保存当前运行状态（断点），然后暂停执行，即将生成器（函数）挂起

2.将yield关键字后面表达式的值作为返回值返回，此时可以理解为起到了return的作用

可以使用next()函数让生成器从断点处继续执行，即唤醒生成器（函数）

Python3中的生成器可以使用return返回最终运行的返回值，而Python2中的生成器不允许使用return返回一个返回值（即可以使用return从生成器中退出，但return后不能有任何表达式）。

4.使用send唤醒

我们除了可以使用next()函数来唤醒生成器继续执行外，还可以使用send()函数来唤醒执行。使用send()函数的一个好处是可以在唤醒的同时向断点处传入一个附加数据。

例子：执行到yield时，gen函数作用暂时保存，返回i的值; temp接收下次c.send(“python”)，send发送过来的值，c.next()等价c.send(None)

In [10]: def gen():
…: i = 0
…: while i<5:
…: temp = yield i
…: print(temp)
…: i+=1
…:

使用send

In [43]: f = gen()

In [44]: next(f)
Out[44]: 0

In [45]: f.send(‘haha’)
haha
Out[45]: 1

In [46]: next(f)
None
Out[46]: 2

In [47]: f.send(‘haha’)
haha
Out[47]: 3

In [48]:

使用next函数
In [11]: f = gen()

In [12]: next(f)
Out[12]: 0

In [13]: next(f)
None
Out[13]: 1

In [14]: next(f)
None
Out[14]: 2

In [15]: next(f)
None
Out[15]: 3

In [16]: next(f)
None
Out[16]: 4

In [17]: next(f)
None

---

StopIteration Traceback (most recent call last)
in ()
----> 1 next(f)

StopIteration:

使用__next__()方法（不常使用）
In [18]: f = gen()

In [19]: f.next()
Out[19]: 0

In [20]: f.next()
None
Out[20]: 1

In [21]: f.next()
None
Out[21]: 2

In [22]: f.next()
None
Out[22]: 3

In [23]: f.next()
None
Out[23]: 4

In [24]: f.next()
None

---

StopIteration Traceback (most recent call last)
in ()
----> 1 f.next()

StopIteration:

7.3协程-yield
携程，又称微线程，纤程。英文名Coroutine

协程是啥

协程是python个中另外一种实现多任务的方式，只不过比线程更小占用更小执行单元（理解为需要的资源）。 为啥说它是一个执行单元，因为它自带CPU上下文。这样只要在合适的时机， 我们可以把一个协程 切换到另一个协程。 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。

通俗的理解：在一个线程中的某个函数，可以在任何地方保存当前函数的一些临时变量等信息，然后切换到另外一个函数中执行，注意不是通过调用函数的方式做到的，并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定。

协程和线程差异

在实现多任务时, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。 操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据，操作系统还会帮你做这些数据的恢复操作。 所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文，所以一秒钟切换个上百万次系统都抗的住。

简单实现协程
import time

def work1():
while True:
print("----work1—")
yield
time.sleep(0.5)

def work2():
while True:
print("----work2—")
yield
time.sleep(0.5)

def main():
w1 = work1()
w2 = work2()
while True:
next(w1)
next(w2)

if name == “main”:
main()

运行结果：
----work1—
----work2—
----work1—
----work2—
----work1—
----work2—
----work1—
----work2—
----work1—
----work2—
----work1—
----work2—
…省略…

gevent

greenlet已经实现了协程，但是这个还的人工切换，是不是觉得太麻烦了，不要捉急，python还有一个比greenlet更强大的并且能够自动切换任务的模块gevent.

其原理是当一个greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。

由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO.

安装
pip3 install gevent

1.gevent的使用

import gevent

def f(n):
for i in range(n):
print(gevent.getcurrent(), i)

g1 = gevent.spawn(f, 5)
g2 = gevent.spawn(f, 5)
g3 = gevent.spawn(f, 5)
g1.join()
g2.join()
g3.join()

运行结果

<Greenlet at 0x10e49f550: f(5)> 0
<Greenlet at 0x10e49f550: f(5)> 1
<Greenlet at 0x10e49f550: f(5)> 2
<Greenlet at 0x10e49f550: f(5)> 3
<Greenlet at 0x10e49f550: f(5)> 4
<Greenlet at 0x10e49f910: f(5)> 0
<Greenlet at 0x10e49f910: f(5)> 1
<Greenlet at 0x10e49f910: f(5)> 2
<Greenlet at 0x10e49f910: f(5)> 3
<Greenlet at 0x10e49f910: f(5)> 4
<Greenlet at 0x10e49f4b0: f(5)> 0
<Greenlet at 0x10e49f4b0: f(5)> 1
<Greenlet at 0x10e49f4b0: f(5)> 2
<Greenlet at 0x10e49f4b0: f(5)> 3
<Greenlet at 0x10e49f4b0: f(5)> 4

可以看到，3个greenlet是依次运行而不是交替运行

2.gevent切换执行

import gevent

def f(n):
for i in range(n):
print(gevent.getcurrent(), i)
#用来模拟一个耗时操作，注意不是time模块中的sleep
gevent.sleep(1)

g1 = gevent.spawn(f, 5)
g2 = gevent.spawn(f, 5)
g3 = gevent.spawn(f, 5)
g1.join()
g2.join()
g3.join()

运行结果

<Greenlet at 0x7fa70ffa1c30: f(5)> 0
<Greenlet at 0x7fa70ffa1870: f(5)> 0
<Greenlet at 0x7fa70ffa1eb0: f(5)> 0
<Greenlet at 0x7fa70ffa1c30: f(5)> 1
<Greenlet at 0x7fa70ffa1870: f(5)> 1
<Greenlet at 0x7fa70ffa1eb0: f(5)> 1
<Greenlet at 0x7fa70ffa1c30: f(5)> 2
<Greenlet at 0x7fa70ffa1870: f(5)> 2
<Greenlet at 0x7fa70ffa1eb0: f(5)> 2
<Greenlet at 0x7fa70ffa1c30: f(5)> 3
<Greenlet at 0x7fa70ffa1870: f(5)> 3
<Greenlet at 0x7fa70ffa1eb0: f(5)> 3
<Greenlet at 0x7fa70ffa1c30: f(5)> 4
<Greenlet at 0x7fa70ffa1870: f(5)> 4
<Greenlet at 0x7fa70ffa1eb0: f(5)> 4

3.给程序打补丁

from gevent import monkey
import gevent
import random
import time

def coroutine_work(coroutine_name):
for i in range(10):
print(coroutine_name, i)
time.sleep(random.random())

gevent.joinall([
gevent.spawn(coroutine_work, “work1”),
gevent.spawn(coroutine_work, “work2”)
])

运行结果

work1 0
work1 1
work1 2
work1 3
work1 4
work1 5
work1 6
work1 7
work1 8
work1 9
work2 0
work2 1
work2 2
work2 3
work2 4
work2 5
work2 6
work2 7
work2 8
work2 9

from gevent import monkey
import gevent
import random
import time

#有耗时操作时需要
monkey.patch_all() # 将程序中用到的耗时操作的代码，换为gevent中自己实现的模块

def coroutine_work(coroutine_name):
for i in range(10):
print(coroutine_name, i)
time.sleep(random.random())

gevent.joinall([
gevent.spawn(coroutine_work, “work1”),
gevent.spawn(coroutine_work, “work2”)
])

运行结果

work1 0
work2 0
work1 1
work1 2
work1 3
work2 1
work1 4
work2 2
work1 5
work2 3
work1 6
work1 7
work1 8
work2 4
work2 5
work1 9
work2 6
work2 7
work2 8
work2 9

7.6进程、线程、协程对比

请仔细理解如下的通俗描述

1.有一个老板想要开个工厂进行生产某件商品（例如剪子）

2.他需要花一些财力物力制作一条生产线，这个生产线上有很多的器件以及材料这些所有的 为了能够生产剪子而准备的资源称之为：进程

3.只有生产线是不能够进行生产的，所以老板的找个工人来进行生产，这个工人能够利用这些材料最终一步步的将剪子做出来，这个来做事情的工人称之为：线程

4这个老板为了提高生产率，想到3种办法：

4.1在这条生产线上多招些工人，一起来做剪子，这样效率是成倍増长，即单进程 多线程方式

4.2老板发现这条生产线上的工人不是越多越好，因为一条生产线的资源以及材料毕竟有限，所以老板又花了些财力物力购置了另外一条生产线，然后再招些工人这样效率又再一步提高了，即多进程 多线程方式

4.3老板发现，现在已经有了很多条生产线，并且每条生产线上已经有很多工人了（即程序是多进程的，每个进程中又有多个线程），为了再次提高效率，老板想了个损招，规定：如果某个员工在上班时临时没事或者再等待某些条件（比如等待另一个工人生产完谋道工序 之后他才能再次工作） ，那么这个员工就利用这个时间去做其它的事情，那么也就是说：如果一个线程等待某些条件，可以充分利用这个时间去做其它事情，其实这就是：协程方式

简单总结：

1.进程是资源分配的单位
2.线程是操作系统调度的单位
3.进程切换需要的资源很最大，效率很低
4.线程切换需要的资源一般，效率一般（当然了在不考虑GIL的情况下）
5.协程切换任务资源很小，效率高
6.多进程、多线程根据cpu核数不一样可能是并行的，但是协程是在一个线程中 所以是并发

7.7并发下载器

并发下载原理
from gevent import monkey
import gevent
import urllib.request

有耗时操作时需要

monkey.patch_all()

def my_downLoad(url):
print(‘GET: %s’ % url)
resp = urllib.request.urlopen(url)
data = resp.read()
print(’%d bytes received from %s.’ % (len(data), url))

gevent.joinall([
gevent.spawn(my_downLoad, ‘http://www.baidu.com/’),
gevent.spawn(my_downLoad, ‘http://www.itcast.cn/’),
gevent.spawn(my_downLoad, ‘http://www.itheima.com/’),
])

运行结果
GET: http://www.baidu.com/
GET: http://www.itcast.cn/
GET: http://www.itheima.com/
111327 bytes received from http://www.baidu.com/.
172054 bytes received from http://www.itheima.com/.
215035 bytes received from http://www.itcast.cn/.

从上能够看到是先发送的获取baidu的相关信息，然后依次是itcast、itheima，但是收到数据的先后顺序不一定与发送顺序相同，这也就体现出了异步，即不确定什么时候会收到数据，顺序不一定。

实现多个视频下载
from gevent import monkey
import gevent
import urllib.request

#有IO才做时需要这一句
monkey.patch_all()

def my_downLoad(file_name, url):
print(‘GET: %s’ % url)
resp = urllib.request.urlopen(url)
data = resp.read()

with open(file_name, "wb") as f:
    f.write(data)

print('%d bytes received from %s.' % (len(data), url))

gevent.joinall([
gevent.spawn(my_downLoad, “1.mp4”, ‘http://oo52bgdsl.bkt.clouddn.com/05day-08-【理解】函数使用总结（一）.mp4’),
gevent.spawn(my_downLoad, “2.mp4”, ‘http://oo52bgdsl.bkt.clouddn.com/05day-03-【掌握】无参数无返回值函数的定义、调用(下).mp4’),
])

上面的url可以换位自己需要下载视频、音乐、图片等网址。