在本文中,将学习如何使用Python生成器来创建迭代,了解它与迭代器和常规函数有什么区别,以及为什么要使用它。
在Python中构建迭代器有很多开销; 必须使用__iter__()
和__next__()
方法实现一个类,跟踪内部状态,当没有值被返回时引发StopIteration
异常。
Python生成器是创建迭代器的简单方法。上面提到的所有开销都由Python中的生成器自动处理。
简单来说,生成器是返回一个可以迭代的对象(迭代器)的函数(一次一个值)。
如何在Python中创建生成器?
在Python中创建生成器是相当简单的。 它使用yield
语句而不是return
语句来定义,与正常函数一样简单。
如果函数包含至少一个yield
语句(它可能包含其他yield
或return
语句),那么它将成为一个生成器函数。 yield
和return
都将从函数返回一些值。
不同的是,return
语句完全终止函数,但yield
语句会暂停函数保存其所有状态,并在以后的连续调用中继续执行(有点像线程挂起的意思)。
生成器函数与正常函数的差异
下面列出的是生成器函数与正常函数的区别 -
- 生成器函数包含一个或多个
yield
语句。 - 当被调用时,它返回一个对象(迭代器),但不会立即开始执行。
__iter__()
和__next__()
之类的方法将自动实现。所以可以使用next()
迭代项目。- 一旦函数退让(
yields
),该函数将被暂停,并将该控制权交给调用者。 - 局部变量及其状态在连续调用之间被记住。
- 最后,当函数终止时,
StopIteration
会在进一步的调用时自动引发。
下面的例子用来说明上述所有要点。 我们有一个名为my_gen()
的生成器函数和几个yield
语句。
#!/usr/bin/python3
#coding=utf-8
def my_gen(): n = 1 print('This is printed first, n= ', n) # Generator function contains yield statements yield n n += 1 print('This is printed second, n= ', n) yield n n += 1 print('This is printed at last, n= ', n) yield n
下面给出了交互式运行结果。 在Python shell中运行它们以查看输出 -
>>> # It returns an object but does not start execution immediately.
>>> a = my_gen()
>>> # We can iterate through the items using next().
>>> next(a)
This is printed first, n = 1
1
>>> # Once the function yields, the function is paused and the control is transferred to the caller.
>>> # Local variables and theirs states are remembered between successive calls.
>>> next(a)
This is printed second, n = 2
2
>>> next(a)
This is printed at last, n = 3
3
>>> # Finally, when the function terminates, StopIteration is raised automatically on further calls.
>>> next(a)
Traceback (most recent call last):
...
StopIteration
>>> next(a)
Traceback (most recent call last):
...
StopIteration
在上面的例子中需要注意的是,在每个调用之间函数会保持住变量n
的值。
与正常函数不同,当函数产生时,局部变量不会被销毁。 此外,生成器对象只能重复一次。
要重新启动该过程,需要使用类似于a = my_gen()
的方法创建另一个生成器对象。
注意:最后要注意的是,可以直接使用带有
for
循环的生成器。
这是因为,for
循环需要一个迭代器,并使用next()
函数进行迭代。 当StopIteration
被引发时,它会自动结束。 请查看这里了解一个for循环是如何在Python中实际实现的。
# A simple generator function
def my_gen(): n = 1 print('This is printed first') # Generator function contains yield statements yield n n += 1 print('This is printed second') yield n n += 1 print('This is printed at last') yield n # Using for loop for item in my_gen(): print(item)
当运行程序时,将输出结果为:
This is printed first
1
This is printed second
2 This is printed at last 3
具有循环的Python生成器
上面的例子没有什么用,我们研究它只是为了了解在后台发生了什么。通常,生成器功能用具有适当终止条件的循环实现。
我们举一个反转字符串的生成器的例子 -
length = len(my_str) for i in range(length - 1,-1,-1): yield my_str[i] # For loop to reverse the string # Output: # o # l # l # e # h for char in rev_str("hello"): print(char)def rev_str(my_str):
在这个例子中,使用range()
函数使用for
循环以相反的顺序获取索引。事实证明,这个生成函数不仅可以使用字符串,还可以使用其他类型的列表,元组等迭代。
Python生成器表达式
使用生成器表达式,可以轻松创建简单的生成器。 它使构建生成器变得容易。
与lambda
函数一样创建一个匿名函数,生成器表达式创建一个匿名生成函数。生成器表达式的语法与Python中的列表解析类似。 但方圆[]
替换为圆括号()
。
列表推导和生成器表达式之间的主要区别是:列表推导产生整个列表,生成器表达式一次生成一个项目。
它们是处理方式是懒惰的,只有在被要求时才能生产项目。 因此,生成器表达式的存储器效率高于等效列表的值。
# Initialize the list
my_list = [1, 3, 6, 10] # square each term using list comprehension # Output: [1, 9, 36, 100] [x**2 for x in my_list] # same thing can be done using generator expression # Output: <generator object <genexpr> at 0x0000000002EBDAF8> (x**2 for x in my_list)
我们可以看到,生成器表达式没有立即生成所需的结果。 相反,它返回一个发生器对象,并根据需要生成项目。
# Intialize the list
my_list = [1, 3, 6, 10] a = (x**2 for x in my_list) # Output: 1 print(next(a)) # Output: 9 print(next(a)) # Output: 36 print(next(a)) # Output: 100 print(next(a)) # Output: StopIteration next(a)
生成器表达式可以在函数内部使用。当以这种方式使用时,圆括号可以丢弃。
>>> sum(x**2 for x in my_list)
146
>>> max(x**2 for x in my_list)
100
为什么在Python中使用生成器?
有几个原因使得生成器成为有吸引力。
1. 容易实现
与其迭代器类相比,发生器可以以清晰简洁的方式实现。 以下是使用迭代器类来实现2
的幂次序的例子。
class PowTwo:
def __init__(self, max = 0): self.max = max def __iter__(self): self.n = 0 return self def __next__(self): if self.n > self.max: raise StopIteration result = 2 ** self.n self.n += 1 return result
上面代码有点长,可以使用一个生成器函数实现同样的功能。
def PowTwoGen(max = 0): n = 0 while n < max: yield 2 ** n n += 1
因为,生成器自动跟踪的细节,它更简洁,更干净。
2.内存高效
返回序列的正常函数将在返回结果之前会在内存中的创建整个序列。如果序列中的项目数量非常大,这可是要消耗内存的。
序列的生成器实现是内存友好的,并且是推荐使用的,因为它一次仅产生一个项目。
3. 表未无限流
生成器是表示无限数据流的绝佳媒介。 无限流不能存储在内存中,由于生成器一次只能生成一个项目,因此可以表示无限数据流。
以下示例可以生成所有偶数(至少在理论上)。
def all_even(): n = 0 while True: yield n n += 2
4.管道生成器
生成器可用于管理一系列操作,下面使用一个例子说明。
假设我们有一个快餐连锁店的日志文件。 日志文件有一列(第4
列),用于跟踪每小时销售的比萨饼数量,我们想算出在5
年内销售的总萨饼数量。
假设一切都是字符串,不可用的数字标记为“N / A
”。 这样做的生成器实现可以如下。
with open('sells.log') as file: pizza_col = (line[3] for line in file) per_hour = (int(x) for x in pizza_col if x != 'N/A') print("Total pizzas sold = ",sum(per_hour))
这种管道的方式是更高效和易于阅读的。
原文出自【易百教程】,商业转载请联系作者获得授权,非商业转载请保留原文链接:https://www.yiibai.com/python/generator.html