Python-协程（迭代器，生成器，yield，greenlet，gevent）

一，迭代器

1. 可迭代对象

我们已经知道可以对list、tuple、str等类型的数据使用for...in...的循环语法从其中依次拿到数据进行使用，我们把这样的过程称为遍历，也叫迭代。

但是并不是所有的数据都可以被迭代

我们把可以通过for...in...这类语句迭代读取一条数据供我们使用的对象称之为可迭代对象（Iterable）。
2，判断对象是否可迭代
可以使用 isinstance() 判断一个对象是否是 Iterable 对象：

In [50]: from collections import Iterable

In [51]: isinstance([], Iterable)
Out[51]: True

In [52]: isinstance({}, Iterable)
Out[52]: True

In [53]: isinstance('abc', Iterable)
Out[53]: True

In [54]: isinstance(mylist, Iterable)
Out[54]: False

3. 可迭代对象的本质
我们分析对可迭代对象进行迭代使用的过程，发现每迭代一次（即在for…in…中每循环一次）都会返回对象中的下一条数据，一直向后读取数据直到迭代了所有数据后结束。那么，在这个过程中就应该有一个“人”去记录每次访问到了第几条数据，以便每次迭代都可以返回下一条数据。我们把这个能帮助我们进行数据迭代的“人”称为迭代器(Iterator)。

可迭代对象的本质就是可以向我们提供一个这样的中间“人”即迭代器帮助我们对其进行迭代遍历使用。
4，4. iter()函数与next()函数
list、tuple等都是可迭代对象，我们可以通过iter()函数获取这些可迭代对象的迭代器。然后我们可以对获取到的迭代器不断使用next()函数来获取下一条数据。iter()函数实际上就是调用了可迭代对象的__iter__方法。

>>> li = [11, 22, 33, 44, 55]
>>> li_iter = iter(li)
>>> next(li_iter)
11
>>> next(li_iter)
22
>>> next(li_iter)
33
>>> next(li_iter)
44
>>> next(li_iter)
55
>>> next(li_iter)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration
>>>

注意，当我们已经迭代完最后一个数据之后，再次调用next()函数会抛出StopIteration的异常，来告诉我们所有数据都已迭代完成，不用再执行next()函数了。
5. 迭代器Iterator
一个实现了__iter__方法和__next__方法的对象，就是迭代器。

class MyList(object):
    """自定义的一个可迭代对象"""
    def __init__(self):
        self.items = []

    def add(self, val):
        self.items.append(val)

    def __iter__(self):
        myiterator = MyIterator(self)
        return myiterator


class MyIterator(object):
    """自定义的供上面可迭代对象使用的一个迭代器"""
    def __init__(self, mylist):
        self.mylist = mylist
        # current用来记录当前访问到的位置
        self.current = 0

    def __next__(self):
        if self.current < len(self.mylist.items):
            item = self.mylist.items[self.current]
            self.current += 1
            return item
        else:
            raise StopIteration

    def __iter__(self):
        return self


if __name__ == '__main__':
    mylist = MyList()
    mylist.add(1)
    mylist.add(2)
    mylist.add(3)
    mylist.add(4)
    mylist.add(5)
    for num in mylist:
        print(num)

6， for…in…循环的本质
for item in Iterable 循环的本质就是先通过**iter()函数获取可迭代对象Iterable的迭代器，然后对获取到的迭代器不断调用next()**方法来获取下一个值并将其赋值给item，当遇到StopIteration的异常后循环结束。
迭代器存储的是数据的生成方法而不是数据，占用小内存，在使用的时候循环调用一段代码动态生成下一个数据而不是一下得到所有数据使用for in对可迭代对象进行遍历，循环每次调用next（）得到其所有的数据

二，生成器

利用迭代器，我们可以在每次迭代获取数据（通过next()方法）时按照特定的规律进行生成。但是我们在实现一个迭代器时，关于当前迭代到的状态需要我们自己记录，进而才能根据当前状态生成下一个数据。为了达到记录当前状态，并配合next()函数进行迭代使用，我们可以采用更简便的语法，即生成器(generator)。生成器是一类特殊的迭代器。

1，创建生成器

在使用生成器实现的方式中，我们将原本在迭代器__next__方法中实现的基本逻辑放到一个函数中来实现，但是将每次迭代返回数值的return换成了yield，此时新定义的函数便不再是函数，而是一个生成器了。简单来说：只要在def中有yield关键字的 就称为 生成器
系统运行到yield时会暂停，并将值返回，通过for…in…可以调用
在下面代码中
此时按照调用函数的方式( 案例中为F = fib(5) )使用生成器就不再是执行函数体了，而是会返回一个生成器对象（ 案例中为F ），然后就可以按照使用迭代器的方式来使用生成器了。
``

In [30]: def fib(n):
   ....:     current = 0
   ....:     num1, num2 = 0, 1
   ....:     while current < n:
   ....:         num = num1
   ....:         num1, num2 = num2, num1+num2
   ....:         current += 1
   ....:         yield num
   ....:     return 'done'
   ....:

In [31]: F = fib(5)

In [32]: next(F)
Out[32]: 1

In [33]: next(F)
Out[33]: 1

In [34]: next(F)
Out[34]: 2

In [35]: next(F)
Out[35]: 3

In [36]: next(F)
Out[36]: 5

In [37]: next(F)
---------------------------------------------------------------------------
StopIteration                             Traceback (most recent call last)
<ipython-input-37-8c2b02b4361a> in <module>()
----> 1 next(F)

StopIteration: done

总结

• 使用了yield关键字的函数不再是函数，而是生成器。（使用了yield的函数就是生成器）

• yield关键字有两点作用：

  • 保存当前运行状态（断点），然后暂停执行，即将生成器（函数）挂起

  • 将yield关键字后面表达式的值作为返回值返回，此时可以理解为起到了return的作用

• 可以使用next()函数让生成器从断点处继续执行，即唤醒生成器（函数）

• Python3中的生成器可以使用return返回最终运行的返回值，而Python2中的生成器不允许使用return返回一个返回值（即可以使用return从生成器中退出，但return后不能有任何表达式）。
  2， 使用send唤醒
  我们除了可以使用next()函数来唤醒生成器继续执行外，还可以使用send()函数来唤醒执行。使用send()函数的一个好处是可以在唤醒的同时向断点处传入一个附加数据。

例子：执行到yield时，gen函数作用暂时保存，返回i的值;
temp接收下次c.send(“python”)，send发送过来的值，
c.next()等价c.send(None)

In [10]: def gen():
   ....:     i = 0
   ....:     while i<5:
   ....:         temp = yield i
   ....:         print(temp)
   ....:         i+=1

使用send

In [43]: f = gen()

In [44]: next(f)
Out[44]: 0

In [45]: f.send('haha')
haha
Out[45]: 1

In [46]: next(f)
None
Out[46]: 2

In [47]: f.send('haha')
haha
Out[47]: 3

In [48]:

三，使用yield完成多任务

在前面的生成器中，yield可以暂停函数，直到调用next（）为止，然后重复调用next（），就重复执行函数代码，这样不就类似多任务

#encoding:utf-8
import time

def task_1():
    while True:
        print ("子线程1")
        time.sleep(1)
        yield


def task_2():
    while True:
        print ("子线程2")
        time.sleep(1)
        yield



def main():
    t1 = task_1()
    t2 = task_2()
    while True:
        next(t1)
        next(t2)
if __name__ == "__main__":
    main()

这种多任务是并发多任务，叫协程
并发：在很短的时间内，先执行一段代码，之后暂停，再执行另一段代码，两者交替运行，从而实现多任务，为假的多任务
并行：在cpu分配，给不同任务分配内存，属于真的多进程

四，使用greenlet实现多任务

greenet对yield进行了简单的封装，从而使得切换任务变的更加简单
安装模块：

sudo pip3 install greenlet

通过switch进行切换线程的执行

#encoding:utf-8
from greenlet import greenlet
import time

def test1():
    while True:
        print "---A--"
        gr2.switch()
        time.sleep(0.5)

def test2():
    while True:
        print "---B--"
        gr1.switch()
        time.sleep(0.5)

gr1 = greenlet(test1)
gr2 = greenlet(test2)

#切换到gr1中运行
gr1.switch()

五，通过gevent实现多任务

前面两种方式能够实现多任务，但是我们不经常用，经常用到的是gevent模块

pip3 install gevent

1. gevent的使用

import gevent

def f(n):
    for i in range(n):
        print(gevent.getcurrent(), i)

g1 = gevent.spawn(f, 5)
g2 = gevent.spawn(f, 5)
g3 = gevent.spawn(f, 5)
g1.join()
g2.join()
g3.join()

运行结果：

/usr/bin/python2.7 /home/chengyangkj/python/协程/gevent完成多任务.py
(<Greenlet at 0x7f1d57f16ba8: f(5)>, 0)
(<Greenlet at 0x7f1d57f16ba8: f(5)>, 1)
(<Greenlet at 0x7f1d57f16ba8: f(5)>, 2)
(<Greenlet at 0x7f1d57f16ba8: f(5)>, 3)
(<Greenlet at 0x7f1d57f16ba8: f(5)>, 4)
(<Greenlet at 0x7f1d57f16cb0: f(5)>, 0)
(<Greenlet at 0x7f1d57f16cb0: f(5)>, 1)
(<Greenlet at 0x7f1d57f16cb0: f(5)>, 2)
(<Greenlet at 0x7f1d57f16cb0: f(5)>, 3)
(<Greenlet at 0x7f1d57f16cb0: f(5)>, 4)
(<Greenlet at 0x7f1d57f16db8: f(5)>, 0)
(<Greenlet at 0x7f1d57f16db8: f(5)>, 1)
(<Greenlet at 0x7f1d57f16db8: f(5)>, 2)
(<Greenlet at 0x7f1d57f16db8: f(5)>, 3)
(<Greenlet at 0x7f1d57f16db8: f(5)>, 4)

可以看到，3个greenlet是依次运行而不是交替运行
2. gevent切换执行
当加了 gevent.sleep()的延时函数后，执行单个线程时，当gevent检测到延时函数时，会自动切换其他的gevent线程i，即腾出耗时的时间间断，去执行其他任务，这就是协程的核心的点

import gevent

def f(n):
    for i in range(n):
        print(gevent.getcurrent(), i)
        #用来模拟一个耗时操作，注意不是time模块中的sleep
        gevent.sleep(1)

g1 = gevent.spawn(f, 5)
g2 = gevent.spawn(f, 5)
g3 = gevent.spawn(f, 5)
g1.join()
g2.join()
g3.join()

gevent在用于网络方向的应用的时候，如果有一个线程网络堵塞，则执行另一个线程。
3，给代码打补丁
在上面的操作中，可以发现只有当为gevent.sleep（）时才会切换线程，那么怎让普通的延时代码也可以自动切换呢？
加上这么一句话：

monkey.patch_all() 

那么整个程序就会自动将所有的延时函数换为gevent的延时函数

from gevent import monkey
import gevent
import random
import time

# 有耗时操作时需要
monkey.patch_all()  # 将程序中用到的耗时操作的代码，换为gevent中自己实现的模块

def coroutine_work(coroutine_name):
    for i in range(10):
        print(coroutine_name, i)
        time.sleep(random.random())

gevent.joinall([
        gevent.spawn(coroutine_work, "work1"),
        gevent.spawn(coroutine_work, "work2")
])

其中，gevent.joinall将所以所有的线程进行join和绑定，等同于下面代码：

g1 = gevent.spawn(coroutine_work,"work1")
g2 = gevent.spawn(coroutine_work,"work2")
g1.join()
g2.join()