本篇文章简单谈谈可迭代对象,迭代器和生成器之间的关系。
一、三者简要关系图
可迭代对象分为三类,分别是迭代器、序列和字典。其中实现了__iter__方法的对象就叫做可迭代对象;实现了__iter__
和__next__()
方法的对象叫做迭代器;具有yield关键字的函数都是生成器;
二、可迭代对象与迭代器
2.1 可迭代对象
2.1.1 定义
在Python世界里,一切皆对象。对象根据定义的维度,又可以分为各种不同的类型,比如:文件对象,字符串对象,列表对象等等。那什么对象才能叫做可迭代对象呢?一句话:“实现了__iter__方法的对象就叫做可迭代对象”,__iter__方法的作用就是返回一个迭代器对象。直观理解就是能用for循环进行迭代的对象就是可迭代对象。比如:字符串,列表,元祖,字典,集合等等,都是可迭代对象。
2.2.2 for循环与__iter()__方法关系?
比如我们在对一个列表进行迭代时,如下代码:
x = [1,2,3]
for i in x:
print(i)
实际执行情况如下图:
- 调用可迭代对象(本例中的列表x)的__iter__方法返回一个迭代器对象(iterator)
- 不断调用迭代器的__next__方法返回元素
- 直到迭代完成后,自动处理StopIteration异常
2.2 迭代器
什么叫迭代器呢?它是一个带状态的对象,他能在你调用next()
方法的时候返回容器中的下一个值,任何实现了__iter__
和__next__()
方法的对象都是迭代器,__iter__
返回迭代器自身,__next__
返回容器中的下一个值,如果容器中没有更多元素了,则抛出StopIteration异常。
示例代码:
#1. 定义fab类
class Fab():
def __init__(self,max):
self.n = 0
self.prev = 0
self.curr = 1
self.max = max
def __iter__(self):
return self
def __next__(self):
if self.n < self.max:
value = self.curr
self.curr += self.prev
self.prev = value
self.n += 1
return value
else:
raise StopIteration
# 调用
f = Fab(5)
print(next(f))
print(next(f))
print(next(f))
print(next(f))
print(next(f))
#max=5, 正常输出前5个值,第六次next则会抛出异常
print(next(f))
输出结果:
1
1
2
3
5
Traceback (most recent call last):
File "ex1.py", line 56, in <module>
print(next(f))
File "ex1.py", line 47, in __next__
raise StopIteration
StopIteration
迭代器就像一个懒加载的工厂,等到有人需要的时候才给它生成值返回,没调用的时候就处于休眠状态等待下一次调用。直到无元素可调用,返回StopIteration异常。
2.3 可迭代对象与迭代器的区别与联系
1)可迭代对象包含迭代器。
2)如果一个对象拥有__iter__方法,其是可迭代对象;如果一个对象拥有next方法,其是迭代器。
3)定义可迭代对象,必须实现__iter__方法;定义迭代器,必须实现__iter__和next方法。
你也许会问,结论3与结论2是不是有一点矛盾?既然一个对象拥有了next方法就是迭代器,那为什么迭代器必须同时实现两方法呢?因为结论1,迭代器也是可迭代对象,因此迭代器必须也实现__iter__方法。
2.4 iter与next方法说明
1)__iter__()
该方法返回的是当前对象的迭代器类的实例。因为可迭代对象与迭代器都要实现这个方法,因此有以下两种写法。
写法一:用于可迭代对象类的写法,返回该可迭代对象的迭代器类的实例。
写法二:用于迭代器类的写法,直接返回self(即自己本身),表示自身即是自己的迭代器。
2)next()
返回迭代的下一步,实现该方法时注意最后超出边界要抛出StopIteration异常。
2.5 可迭代对象与迭代器举例
# coding=utf-8
#1. 定义可迭代对象类 MyList类
class MyList(object):
def __init__(self, num):
self.data = num # 上边界
def __iter__(self):
return MyListIterator(self.data) # 返回该可迭代对象的迭代器类的实例
#2. 定义可迭代对象的迭代器类 MyListIterator类
class MyListIterator(object):
def __init__(self, data):
self.data = data # 上边界
self.now = 0 # 当前迭代值,初始为0
def __iter__(self):
return self # 返回该对象的迭代器类的实例;因为自己就是迭代器,所以返回self
def next(self): # 迭代器类必须实现的方法
while self.now < self.data:
self.now += 1
return self.now - 1 # 返回当前迭代值
raise StopIteration # 超出上边界,抛出异常
#3. 测试代码
my_list = MyList(5) # 得到一个可迭代对象
print type(my_list) # 返回该对象的类型
my_list_iter = iter(my_list) # 得到该对象的迭代器实例,iter函数在下面会详细解释
print type(my_list_iter)
for i in my_list: # 迭代
print i
<class '_main_.MyList' >
<class '_main_.MyListIterator' >
0
1
2
3
4
问题:上面的例子中出现了iter函数,这是什么东西?和iter方法有关系吗?
其实该函数与迭代是息息相关的,通过在Python命令行中打印“help(iter)”得知其有以下两种用法。
用法一:iter(callable, sentinel)
不停的调用callable,直至其的返回值等于sentinel。其中的callable可以是函数,方法或实现了call方法的实例。
用法二:iter(collection)
1)用于返回collection对象的迭代器实例,这里的collection我认为表示的是可迭代对象,即该对象必须实现iter方法;事实上iter函数与iter方法联系非常紧密,iter()是直接调用该对象的iter(),并把iter()的返回结果作为自己的返回值,故该用法常被称为“创建迭代器”。
2)iter函数可以显示调用,或当执行“for i in obj:”,Python解释器会在第一次迭代时自动调用iter(obj),之后的迭代会调用迭代器的next方法,for语句会自动处理最后抛出的StopIteration异常。
通过上面的例子,相信对可迭代对象与迭代器有了更具体的认识,那么生成器与它们有什么关系呢?下面简单谈一谈
三、生成器
-
生成器是一种特殊的迭代器,生成器自动实现了“迭代器协议”(即__iter__和next方法),不需要再手动实现两方法。
-
生成器在迭代的过程中可以改变当前迭代值(通过send()方法),而修改普通迭代器的当前迭代值往往会发生异常,影响程序的执行。
-
生成器一定是迭代器(反之不成立),因此任何生成器也是以一种懒加载的迭代器。
看一个生成器的例子:
# coding=utf-8
#1. 定义生成器
def myList(num):
now = 0 # 当前迭代值,初始为0
while now < num:
val = (yield now) # 返回当前迭代值,并接受可能的send发送值;
now = now + 1 if val is None else val # val为None,迭代值自增1,否则重新设定当前迭代值为val
#2. 测试代码
my_list = myList(5) # 得到一个生成器对象
print my_list.next() # 返回当前迭代值
print my_list.next()
my_list.send(3) # 重新设定当前的迭代值
print my_list.next()
print dir(my_list) # 返回该对象所拥有的方法名,可以看到__iter__与next在其中
运行结果:
总结:
- 具有yield关键字的函数都是生成器,yield可以理解为return,返回后面的值给调用者。不同的是return返回后,函数会释放,而生成器则不会。在直接调用next方法或用for语句进行下一次迭代时,生成器会从yield下一句开始执行,直至遇到下一个yield。
- 生成器特殊的地方在于函数体中没有
return
关键字,函数的返回值是一个生成器对象。当执行f=fab()
返回的是一个生成器对象,此时函数体中的代码并不会执行,只有显示或隐示地调用next的时候才会真正执行里面的代码。 - 生成器还有一个send方法,可以往生成器里的变量传值。
四、生成器表达式
生成器表达式是列表推导式的生成器版本,看起来像列表推导式,但是它返回的是一个生成器对象而不是列表对象。
a = (x for x in range(10))
print(a)
执行结果:
"C:\Program Files\Python36\python.exe" D:/Git/Test_Framework/utils/1.py
<generator object <genexpr> at 0x000000000289D8E0>
Process finished with exit code 0
五、参考资料
- Python核心编程第二版11.10节,13.13.3节
- 完全理解Python迭代对象、迭代器、生成器
- 深入讲解Python中的迭代器和生成器
- 如何更好地理解Python迭代器和生成器
- https://www.cnblogs.com/eastonliu/p/9156418.html