Python迭代器和生成器

迭代器

• 可迭代对象：

  • List,str,tuple etc. —> For…in…遍历. —>遍历迭代

• 迭代器协议：对象必须提供一个next方法，执行该方法要么返回迭代中的下一项，要么引起stopit eration异常，以终止迭代（只能往下走，不可以回退）

  现在，我们就可以说，实现了迭代器协议的对象就是可迭代对象

  通过在对象内部定义一个__iter__方法

  li = [1, 2, 3]
  sr = 'abcd'
  # print(li.__iter__())
  # print(sr.__iter__())
  
  li_iter = li.__iter__()
  print(li_iter.__next__())  #<-->next(li_iter)
  print(next(li_iter))
  print(li_iter.__next__())
  # print(li_iter.__next__())
  
  
  sr_iter = sr.__iter__()
  print(sr_iter.__next__())   #<-->next(sr_iter)
  print(sr_iter.__next__())
  print(sr_iter.__next__())
  # print(sr_iter.__next__()) #多一项会报错
  print(next(sr_iter))
  
  
  1
  2
  3
  a
  b
  c
  d
  

  可迭代对象测试：使用instance()来判断一个对象是否可迭代

  from collections import Iterable
  
  print(isinstance([], Iterable))
  print(isinstance(str(), Iterable))
  print(isinstance({}, Iterable))
  print(isinstance(set(), Iterable))
  print(isinstance(123, Iterable))
  print(isinstance(True, Iterable))
  
  
  
  True
  True
  True
  True
  False
  False
  
  

自定义一个类，其可以容纳数据，测试该类型

from collections.abc import Iterable


class MyClass:
    def __init__(self):
        self.names = []

    def add(self, name):
        self.names.append(name)


my_class = MyClass()
my_class.add('Tom')
my_class.add('Jack')
my_class.add('Lucy')

print('是否为可迭代对象：', isinstance(my_class, Iterable))


是否为可迭代对象： False

__iter__方法，其可以为我们提供一个迭代器

在迭代一个可迭代对象的时候，实际上就是获得该对象提供的一个迭代器，然后通过该迭代器依次获取对象的每一个数据

from collections.abc import Iterable


class MyClass:
    def __init__(self):
        self.names = []

    def add(self, name):
        self.names.append(name)

    def __iter__(self):
        return self.names.__iter__()

my_class = MyClass()
my_class.add('Tom')
my_class.add('Jack')
my_class.add('Lucy')

print('是否为可迭代对象：', isinstance(my_class, Iterable))
for tmp in my_class:
    print(tmp,end=' ')
    
    
    
是否为可迭代对象： True
Tom Jack Lucy 

通过迭代器，迭代

print(my_class)
my_class_iter = iter(my_class)
print(my_class_iter)
print(next(my_class_iter))
print(next(my_class_iter))
print(next(my_class_iter))



<__main__.MyClass object at 0x10c9ee3c8>
<list_iterator object at 0x10ca1c4a8>
Tom
Jack
Lucy

For…in…循环本质

就是通过iter()函数获取可迭代对象的Iterable的迭代器，然后对获取到的迭代器不断调用next()方法来获取下一个值并将其赋值item,当遇到StopIteration的异常后，退出.

应用场景

迭代器的核心就是通过next()函数调用返回下一个数据值，如果每次返回的数据值不是在一个已有的数据集合中读取的，而是通过程序按照一定的规律计算生成，那么也就意味着可以不用依赖一个已有的数据集合，namely，无需将所有的迭代对象数据一次性缓存下来后供后续使用，这样，可以节省大量的储存（内存）空间

Demo:

斐波拉契数列

现在我们希望通过for…in…的方式来遍历斐波那契数列中前n个数

通过迭代来实现，每次迭代都可以通过数字计算生成下一个数

class FibIterator(object):
    """斐波那契数列迭代器"""

    def __init__(self, n):
        # 记录生成的被波那契数列的个数
        self.n = n
        # 记录当前记录的索引
        self.current_index = 0
        # 记录两个初始值
        self.num1 = 0
        self.num2 = 1

    def __next__(self):
        """调用next函数来获取下一个数"""
        if self.current_index < self.n:
            num = self.num1
            self.num1, self.num2 = self.num2, self.num1 + self.num2
            self.current_index += 1
            return num
        else:
            raise StopIteration

    def __iter__(self):
        return self


fib = FibIterator(10)
for num in fib:
    print(num, end=' ')
    
    
    
0 1 1 2 3 5 8 13 21 34 

class test:
    def __init__(self, data=1):
        self.data = data

    def __iter__(self):
        return self

    def __next__(self):
        if self.data > 5:
            raise StopIteration
        else:
            self.data += 1
            return self.data


for i in test(2):
    print(i)
    
    
3
4
5
6

生成器

生成器，利用迭代器，我们可以在每次迭代获取数据时，（通过next()方法)按照特定的规律进行生成，但是我们在实现一个迭代器时，关于当前迭代的状态需要我们自己记录，进而才能根据当前的状态生成下一个数据，为了达到记录当前状态，并配合next()函数进行迭代使用，可以采用更简便的语法

即 生成器（generator)，生成器是一种特殊的迭代器，它比迭代器更优雅

创建一个生成器

列表[]—>()

li = [x**2 for x in range(6)]
print(li)

gen = (x**2 for x in range(6))
print(gen)

print('通过next()函数取得下一个值')
print(next(gen))
print(next(gen))
print(next(gen))
print(next(gen))
print(next(gen))
print(next(gen))


print('通过for遍历')
gen = (x**2 for x in range(6))
for i in gen:
    print(i,end = ' ')



[0, 1, 4, 9, 16, 25]
<generator object <genexpr> at 0x10eda3b10>
通过next()函数取得下一个值
0
1
4
9
16
25
通过for遍历
0 1 4 9 16 25 

生成器函数

在函数中如果出现了yield关键字，那么该函数就不再是一个普通函数而是一个生成器函数

def foo():
    yield 1
    yield 2
    

f = foo()
print(next(f))
print(next(f))


1
2

next 和yield 进行匹配，如果遇到return

return后的语句不会再执行，直接抛出StopIteration,终止迭代

如果return后有返回值，那么这个值就是异常的说明，而不是函数的返回值

def foo():
    yield 1
    yield 2
    return
    yield 3


f = foo()
print(next(f)) #程序会停留在对应的yield后的语句
print(next(f))
print(next(f)) #当程序遇到return,return后的语句不会再执行，因此报错



1
2
Traceback (most recent call last):
  File "/Users/xujiaqi/PycharmProjects/untitled3/xu.py", line 1005, in <module>
    print(next(f)) 
StopIteration

输出奇数：

def odd():
    n = 1
    while True:
        yield n
        n += 2


odd_num = odd()
print(odd_num)
count = 0

# for i in odd_num:   #方法一
#     if count>5:
#         break
#     print(i)
#     count+=1

# print(next(odd_num))   #方法二
# print(next(odd_num))
# print(next(odd_num))
# print(next(odd_num))
# print(next(odd_num))

for i in range(1,6):   #方法三
    print(next(odd_num))
    
    
    
1
3
5
7
9
11
15
17
19
21
23
25
27
29
31
33

关于手动编写迭代器，实现类似效果

class OddIter:
    def __init__(self):
        self.start = -1

    def __iter__(self):
        return self

    def __next__(self):
        self.start += 2
        return self.start


odd = OddIter()
for i in range(6):
    print(next(odd))
    
    
1
3
5
7
9
11

生成器生成的方法：

Help on generator object:

odd = class generator(object)
 |  Methods defined here:
 |  
 |  __del__(...)
 |  
 |  __getattribute__(self, name, /)
 |      Return getattr(self, name).
 |  
 |  __iter__(self, /)
 |      Implement iter(self).
 |  
 |  __next__(self, /)
 |      Implement next(self).
 |  
 |  __repr__(self, /)
 |      Return repr(self).
 |  
 |  close(...)
 |      close() -> raise GeneratorExit inside generator.
 |  
 |  send(...)
 |      send(arg) -> send 'arg' into generator,
 |      return next yielded value or raise StopIteration.
 |  
 |  throw(...)
 |      throw(typ[,val[,tb]]) -> raise exception in generator,
 |      return next yielded value or raise StopIteration.
 |  
 |  ----------------------------------------------------------------------
 |  Data descriptors defined here:
 |  
 |  gi_code
 |  
 |  gi_frame
 |  
 |  gi_running
 |  
 |  gi_yieldfrom
 |      object being iterated by yield from, or None

None

• close()
  • 手动关闭生成器函数，后面调用会直接引起StopIteration异常

def gen():
    yield 1
    yield 2
    yield 3
    yield 4

g = gen()
print(next(g))
print(next(g))
g.close()
print(next(g))  #回溯



1
2
Traceback (most recent call last):
  File "/Users/xujiaqi/PycharmProjects/untitled3/xu.py", line 1071, in <module>
    print(next(g))  #回溯
StopIteration

• send()

  • x = yield y 语句的含义：send()的作用就是使receive赋值为其传送的值，然后让生成器执行到下一个yield

• 如果生成器未启动，则必须在使用send()前启动生成器，而启动的方法可以是gen,next()，也可以是gen.send(None)执行到第一个yield处，之后就可以使用send(para)不断传人值了

  • 如果是已启动，则send(para)的作用给x赋值为发送的值(send的参数)，然后让生成器执行到下一个yield.

def gen():
    value = 0
    while True:
        receive = yield value
        if receive =='e':
            break
        value = 'get: %s' %receive
#send()作用就是使receive赋值为其传送的值，然后让生成器执行到下一个yeild

g = gen()
print(g.send(None))
print(g.send('aaa'))
print(g.send('e'))



0
get: aaa
Traceback (most recent call last):
  File "/Users/xujiaqi/PycharmProjects/untitled3/xu.py", line 1086, in <module>
    print(g.send('e'))
StopIteration

def gen():
    i = 0
    while i < 5:
        temp = yield i  #把yield看成是return,return返回一个值就停止了，直到下一个next
        print(temp)
        i += 1


# 创建生成器对象
obj = gen()
# 使用next()唤醒生成器
print(next(obj))
print(next(obj))
print(obj.send('city'))



0
None
1
city
2

• throw()
  • 手动抛出异常