今天,我们来讨论Python的yield
、Iterator
和generator
,它们可以在许多教程中看到,但总是引起一些混淆。
就像decorators
一样,这三个概念是紧密联系在一起的。例如,如果你想知道什么是yield
,你必须首先了解什么是generator
。但在理解generator
之前,你又必须理解iterator
是什么,但在理解iterator
之前,您必须要知道iterable
对象是什么。他们的关系如下图:
Iterables 可迭代的
可迭代是指能够通过迭代的方法遍历的对象,比如列表、字符串、元组、字典、集合等等。简单的例子:
mylist = [1, 2, 3]
for i in mylist:
print(i)
可迭代对象如何工作?
让我们看看Python解释器在遇到迭代操作时如何处理迭代,例如for ... in x
-
调用
iter(x)
函数 -
检查对象是否实现了
_iter__
方法,如果实现了,则调用它以获取迭代器; -
如果未实现
_iter__
方法,但实现了_getitem__
方法,Python将创建一个迭代器并尝试按顺序获取元素(从索引0开始); -
如果两个方法都未实现,将抛出TypeError异常,指示无法迭代该对象。
因此具有 __iter__
方法或 __getitem__
方法的对象通常称为可迭代对象。
如何判断一个对象是否可迭代?
- 方法一:使用dir函数,检查对象是否实现了
__iter__
或者__getitem__
方法。
mylist = [1, 2, 3]
mylistMethod = dir(mylist)
print(mylistMethod) #查看mylist的方法
print('__iter__' in dir(mylist) or '__getitem__' in dir(mylist)) # True
- 方法二:使用
isinstance
函数,检查对象是否是Iterable
类型。
from collections import Iterable
mylist = [1, 2, 3]
print(isinstance(mylist, Iterable)) # True
Iterator 迭代器
迭代器是一个包含可数数量值的对象。 它可以迭代,这意味着您可以遍历所有值。 让我们看一个迭代器示例:
for i in range(5):
print(i) # 0 1 2 3 4
像这样,一个个打印元素的过程就叫可迭代的,这个过程也是我们日常代码编写中接触最多的操作。
简单来说,带有next()
方法的可迭代对象就是一个迭代器,或者说一个可迭代对象和一个迭代器的关系是:Python从一个可迭代对象中获取一个迭代器。具体关系如下图:
所以上面提到的列表、字符串等不是迭代器。 但是,您可以使用Python内置 iter()
函数来获取它们的迭代器对象。 让我们使用迭代器模式来重写前面的例子:
mylist = [1,2,3]
it = iter(mylist) # 获取迭代器对象
while True:
try:
print(next(it))
except StopIteration:
print("Stop iteration!")
break
在上面的代码中,我们首先使用iterable
对象mylist
来构造迭代器it
,并不断调用迭代器上的next()
函数来获取下一个元素。 如果没有字符,迭代器将抛出 StopIteration
异常并退出循环。
Generator 生成器
Python 提供了一个生成器来创建迭代器函数。 生成器是一种特殊类型的函数,它不返回单个值,而是返回一个包含一系列值的迭代器对象。 在生成器函数中,使用 yield
语句而不是 return
语句。
现在我们已经知道for循环背后的机制了,但是如果数据量太大,比如for i in range(1000000)
,使用for循环将所有的值存储在内存中不仅占用大量的存储空间 但是如果我们只需要访问前几个元素,空间就浪费了。 在这种情况下,我们可以使用 generator
。
生成器的思路是,我们不需要一次性把这个列表全部创建出来,只需要记住它的创建规则,然后在需要用到的时候,再一次次的计算和创建。 我们来看一个例子:
my_generator = (x*x for x in range(10))
for i in my_generator:
print(i) # 0 1 4 9 16 25 36 49 64 81
my_generator
是一个生成器,它的每一个元素都是一个生成器对象。 我们可以使用 next()
函数来获取下一个元素。
Yield 产生器
简单来说,你可以把yield
当成return
,但它返回的是一个生成器。 记住,刚开始学习的时候不需要了解这个yield
是什么,但是一定要了解它的运行机制!
让我们看一下下面的代码片段:
def test():
print("First")
yield 1
print("Second")
yield 2
print("Third")
yield 3
my_generator = test() # 创建生成器
print(type(my_generator)) # <class 'generator'>
我们可以在这里看到如果一个函数使用 yield
作为返回值,那么它就变成了一个生成器函数。
与普通函数不同,生成器函数被调用后,函数体中的代码不会立即执行(执行my_generator=test()后不打印任何值),而是返回一个生成器!正如我们前面提到的:generator
是迭代器,而 yield
可以被视为 return
,不难猜测下面代码的结果:
def test():
print("First")
yield 1
print("Second")
yield 2
print("Third")
yield 3
for item in test():
print(item)
# 输出:
"""
First
1
Second
2
Third
3
"""
next
函数是如何运行的?
def test():
print("First")
yield 1
print("Second")
yield 2
print("Third")
yield 3
my_generator = test() # 创建生成器
a = next(my_generator) # First
print(a) # 1
b = next(my_generator) # Second
print(b) #
c = next(my_generator) # Third
print(c) # 3
d = next(my_generator) # StopIteration
print(d) # error
每次调用next(my_generator
),只跑到yield
位置就停止,下次再跑,从上次结束的位置开始!并且生成器的长度取决于在函数中定义 yield
的次数。看起来也很好理解呢。
如果理解了上面的 yield
函数示例,让我们继续看一个更复杂的示例,该生成器可以接受参数。
def simple_gen(a):
print('-> Started: a =', a)
b = yield a
print('-> Received: b =', b)
c = yield a + b
print('-> Received: c =', c)
gen = simple_gen(14)
next(gen) # -> Started: a = 14
next(gen) # ?
next(gen) # ?
运行结果如图:
发生了什么??从第一次 next(gen)
调用开始,它在 yield a
处停止,然后当您再次调用 next(gen)
时,b
实际上是 None
值,这导致了异常。
b
为什么是 None
值?因为我们在 yield a
处没有接收到任何值,所以 b
就是 None
值。要想接收值,
要继续,您需要使用 send()
函数:生成器发送(值)恢复执行并将值“发送”到生成器函数中。 value
参数成为当前 yield
表达式的结果。 send()
方法返回生成器生成的下一个值,或者如果生成器退出而没有生成另一个值则引发 StopIteration
。
怎么理解send()
函数?一个带参数的 next()
,接收参数,执行yield
,然后返回值。
def simple_gen(a):
print('-> Started: a =', a)
b = yield a
print('-> Received: b =', b)
c = yield a + b
print('-> Received: c =', c)
gen = simple_gen(14)
next(gen) # -> Started: a = 14
gen.send(15) # Received: b = 15 # send 15 to generator,并执行下一步 send包含next的yield
总结
小思考:
yield
和return
的区别,你理解了么?yield
,generator
和iterator
的区别和联系,你理解了么?
欢迎大家点赞、收藏,支持!
pythontip 出品,Happy Coding!
公众号: 夸克编程