python高级编程（三）--迭代、生成器

1、迭代器

• 定义：迭代器是访问集合元素的一种方式。迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。

• 优点：迭代器的一大优点是不要求事先准备好整个迭代过程中所有元素。迭代器仅仅在迭代到某个元素时才计算该元素，而在这之前或之后，元素可以不存在或者被销毁。这个特点使得它特别适合用于遍历一些巨大的伙食无限的集合，比如几个G的文件。

• 特点：

  • 访问者不需要关心迭代器内部的结构，仅需通过next()方法不断去取下一个内容。
  • 不能随机访问集合中的某个值，只能从头到尾依次访问。
  • 访问到一半时不能往回退
  • 便于循环比较大的数据集合，节省内存

• 首先讨论下迭代、迭代器、迭代对象三者的定义

  • 迭代是访问集合元素的一种方式。
    例如对list、tuple、str等类型的数据使用for…in…的循环语法从其中依次拿到数据进行使用，我们把这样的过程称为遍历，也叫迭代。
  • 迭代器是一个可以记住遍历的位置的对象
    本质：对可迭代对象进行迭代使用的过程，发现在for…in…中每循环一次都会返回对象中的下一条数据，一直向后读取数据直到迭代了所有数据后结束。在这个过程中就应该迭代器去记录每次访问到了第几天数据，以便每次迭代都可以返回下一条数据。一个实现了__iter__方法和__next__方法的对象，就是迭代器。
  • 迭代器对象从集合的一个元素开始访问，直到所有的元素被访问完结束。
    例如通过for…in…这类语句迭代读取一条数据供我们使用的对象称之为迭代对象。
    本质：迭代对象 通过__iter__方法向我们提供一个迭代器，我们在迭代一个可迭代对象的时候，实际上就是先获取该对象提供的一个迭代器，然后通过这个迭代器开一次获取对象中的每一个数据。也就是说，一个具备了__iter__方法的对象，就是一个可迭代对象。

• 如何判断一个对象是否可以迭代？
  可以使用isinstance()判断一个对象是否是Iterable对象，当返回的是True表示是Iterable对象，是false则不是.

from collections import Iterable

In [51]: isinstance([], Iterable)   #列表可以迭代
Out[51]: True

In [52]: isinstance({}, Iterable)   #字典可以迭代
    Out[52]: True

In [53]: isinstance('abc', Iterable)  #字符串可以迭代
Out[53]: True

In [54]: isinstance(mylist, Iterable)  #mylist容器对象不能迭代
Out[54]: False

In [55]: isinstance(100, Iterable)   # int整型不是iterable ， 即int整型不是可以迭代的
Out[55]: False

• 如何判断一个对象是否是迭代器？
  可以使用isinstance()判断一个对象是否是Iterator对象

In [56]: from collections import Iterator

In [57]: isinstance([], Iterator)  # 列表不是迭代对象
Out[57]: False

In [58]: isinstance(iter([]), Iterator) 元组是迭代对象
Out[58]: True

In [59]: isinstance(iter("abc"), Iterator)
Out[59]: True

• iter()函数与next()函数
  通过iter()函数获取可迭代对象的迭代器，然后可以对获取到的迭代器不断使用next()函数来获取下一条数据。iter()函数实际上就是调用了可迭代对象的__iter__方法.迭代完最后一个数据之后，再次调用next()函数会抛出stopIteration的异常，来告诉我们所有数据都已迭代完成，不用再执行next()函数。

>>> li = [11, 22, 33]
>>> li_iter = iter(li)
>>> next(li_iter)
11
>>> next(li_iter)
22
>>> next(li_iter)
33
>>> next(li_iter)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration
>>

• 迭代器Iterator
  迭代器是用来帮助我们记录每次迭代访问到的位置，当我们对迭代器使用next()函数的时候，迭代器会向我们返回它所记录位置的下一个位置的数据。
  一个实现了__iter__方法和__next__方法的对象，就是迭代器

class MyList(object):
    """自定义的一个可迭代对象"""
    def __init__(self):
        self.items = []

    def add(self, val):
        self.items.append(val)

    def __iter__(self):
        myiterator = MyIterator(self)
        return myiterator
    class MyIterator(object):
    """自定义的供上面可迭代对象使用的一个迭代器"""
    def __init__(self, mylist):
        self.mylist = mylist
        # current用来记录当前访问到的位置
        self.current = 0

    def __next__(self):
        if self.current < len(self.mylist.items):
            item = self.mylist.items[self.current]
            self.current += 1
            return item

        else:
            raise StopIteration

    def __iter__(self):
        return self

if __name__ == '__main__':
    mylist = MyList()
    mylist.add(1)
    mylist.add(2)
    mylist.add(3)
    mylist.add(4)
    mylist.add(5)
    for num in mylist:
        print(num)

• 斐波那契数列迭代器使用
  
  • 数学中有个著名的斐波那契数列（Fibonacci）,数列中第一个数为0，第二个数为1，其后的每一个数都可由前两个数相加得到：
  • 0,1,1,2,3,5,8,13,21,34，…

class FibIterator(object):
    """斐波那契数列迭代器"""
    def __init__(self, n):
        """初始化"""
        # n: int ，指明生成数列的前n个数
        self.n = n
        #  current用来保存当前生成到数列中的第几个数了
        self.current = 0
        #  num1用来保存前一个数，初始值为数列中的第一个数0
        self.num1 = 0
        # num2 用来保存前一个数，初始值为数列中的第二个数1
        self.num2 = 1

    def __next__(self):
        """被next()函数调用来获取下一个数"""
        if self.current < self.n:
            num = self.num1
            self.num1, self.num2 = self.num2, self.num1 + self.num2
            # current 用来记录当前访问的位置
            self.current += 1
            return num

    def __iter__(self):
        """迭代器的_iter__返回自身即可"""
        return self

if __name__ == "__main__":
    fib = FibIterator(10)
    for num in fib:
        print(num, end="")

补充：
并不是只要for循环能接收可迭代对象
除了for循环能接收可迭代对象，list、tuple等也能接收。
li = list(FibIterator(15))
print(li)
tp = tuple(FibIterator(6))
print(tp

2.生成器

• 一个函数调用时返回一个迭代器，那这个函数就叫做生成器（generator）;如果函数中包含yield语法，那这个函数就会变成生成器；
• 要创造一个generator，有很多种方法。第一种方法很简单，只要把一个列表生成式的[]改成（），就创建了一个generator.

>>> L = [x * x for x in range(10)]
>>> L
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
>>> g = (x * x for x in range(10))
>>> g
<generator object <genexpr> at 0x1022ef630>

1> 创建L和g的区别仅在于最外层的[]和(),L是list,而g是一个generator
2> 我们可以直接打印出list的每一个元素，但我们怎么打印出generator的每一个元素呢？
3> 如果要一个一个打印出来，可以通过next()函数获得generator的下一个返回值。
4> generator保存的是算法，每次调用next(g),就计算出g的下一个元素的值，直到计算到最后一个元素，没有更多的元素时，抛出StopIteration的错误。
5> 要是不断调用next(g)是不是太变态了，正确的打开方式是使用for循环，是不是很爽？因为generator也是可迭代对象哦。这样就不需要关心什么StopIteration的错误了。

• 使用yield关键字修改斐波那契数列迭代器程序

In [30]: def fib(n):
....:     current = 0
....:     num1, num2 = 0, 1
....:     while current < n:
....:         num = num1
....:         num1, num2 = num2, num1+num2
....:         current += 1
....:         yield num
....:     return 'done'
....:

• 但函数执行到yied时停止执行，会返回一个生成器对象
• 使用yield关键字的函数不再是函数，而是生成器。（使用了yield的函数就是生成器）
• yield关键字有两点作用：
  
  • 保存当前运行状态（断点），然后暂停执行，即将生成器（函数）挂起
  • 将yield关键字后面表达式的值作为返回值返回，此时可以理解为起到了return的作用
• 可以使用next()函数让生成器从断点出继续执行，即唤醒生成器（函数）

• python3中的生成器可以使用rerurn返回最终运行的返回值，而Python2中的生成器不允许使用return返回一个返回值（即可以使用return从生成器中退出，但return后不能有任何表达式）。

• 唤醒生成器：

  • 使用__next__()函数唤醒生成器继续执行（不常用）
  • 使用next()函数唤醒生成器继续执行
  • 使用send()函数来唤醒执行，使用send()函数的一个好处就是可以在唤醒的同时向断点出传入一个附加数据。
• next与send的区别
  
  • next或者send调用的结果一定是yield后面的值
  • next不能给生成器传递参数
  • send可以传递参数，当使用send传递的时候，就相当于yield xxx的结果，因此i = yield 1 此时就变成了i 的值为send的参数。