python yield
yield用途
return一个generation。关于generation的信息可详细查看官网。
本文拟解决问题
- yield为什么运行速度很快?
- yield的工作原理
- 如何理解yield?
1. yield为什么运行速度很快
通过跑python程序,发现运行yield与list,list append、return方法比较,yield的运行速度在某些情况下相对更快速,并且在内存方面,yield较前者内存耗费更小。因为yield生成的是一个生成器,它不必一次性将数据全部加载到内存中,而是在需要的时候读取数据,并且数据只迭代一次;另外,yield的底层过程使用C语言封装,使得其开发效率更加高效。
2. yield的工作原理
- yield与list的工作机制是两个概念,其中list在python中返回iterable可迭代对象,而yield返回生成器generator对象。生成器对象是一种迭代器iterator,迭代器遵守迭代协议。iterable可以使用python内置的iter()方法返回一个iterator对象。
- iterator对象中包含next()方法,next()方法从迭代器的第一个元素访问,每次访问返回当前元素并且指针向前移一步,使用next()方法后数据的读取不能回退。若在使用迭代对象中下一个元素不存在,继续使用next()方法会报错:StopIteration。
- 在python中,函数中使用yield的数据返回对象就是一个生成器。在调用生成器运行的过程中,每次遇到 yield 时函数会暂停并保存当前所有的运行信息,返回 yield 的值, 并在下一次执行 next() 方法时从当前位置继续运行。调用一个生成器函数,返回的是一个迭代器对象。
3. 如何理解yield
本节附带了两个程序,主要在于能够对yield有进一步深刻易懂的理解。
(1) yield简单运行过程
** 此点参照网上博客。**
def foo():
print("test...")
while True:
res = yield 9
print("en heng")
print(res)
if __name__ == '__main__':
g = foo()
print(g)
print("1", "*"*20)
print(next(g))
print("2", "*"*20)
print(g.send(7))
print("3", "*"*20)
print(next(g))
运行结果:
<generator object foo at 0x0000023EB0873750>
1 ********************
test...
9
2 ********************
en heng
7
9
3 ********************
en heng
None
9
通过上述运行结果,可以观察到以下三点:
- 函数带有yield,返回的是一个generator对象;
- 带yield函数的执行顺序:
第一步,从函数开头执行到yield为止,可以将当前的yield看做return,将数据“9”返回终端;
第二步,若yield在循环体内,则从上一次停止位置到到结束部分再到循环体(不会执行循环体以外的程序);若yield不在循环体内,则程序直接执行到函数末尾并且报一个“StopIteration”错误(表示生成器元素已经遍历到末尾); - 对生成器使用send()方法时运行流程:一般使用send()方法分两步执行,①完成赋值,②执行next()方法。在上述程序中,对foo函数调用send()方法(在调用next()方法之后调用send()方法)时,首先完成对左边变量res的赋值操作,然后执行next()方法。
(2)yield的惰性计算
** 此点参照了网上博客。 **
生成器表达式的惰性计算。有点类似于Spark中RDD的操作机制,仅当触发动作类型action操作是才会执行转换类型transformation操作(与RDD间的依赖有关)。
备注:对spark的RDD操作机制感兴趣可以在网易云课堂上厦门大学林子雨老师的课《Spark编程基础》——免费的。
生成器的惰性机制:生成器表达式只有在被检索时候,才会被赋值。
a. 程序走起
def add(s, x):
return s + x
def gen():
for i in range(7):
yield i
if __name__ == "__main__":
base = gen()
for n in [1, 100]:
print("the n = ", n)
base = (add(i, n) for i in base)
print(base)
print(list(base))
b. 运行结果展示
the n = 1
the n = 100
<generator object <genexpr> at 0x00000248CA0238B8>
[200, 201, 202, 203, 204, 205, 206]
c. 为什么结果是[200, 201, 202, 203, 204, 205, 206]
?
- 首先需要注意的第一个点:
add(i, n)
中的n是一个变量而非当时的值。 - 第二个点:此处有三个生成式表达式。调用
gen()
的base变量是一个generator,此时并没有真正触发迭代式操作(需要调用next()方法触发);主函数的for
循环有两个generator表达式(add(i, n) for i in base)
。 - 第三个点:当运行最后一步
print(list(base))
时,触发了迭代式(next()方法)操作,开启了从第一个generator到第三个generator表达式的计算,注意的是此时的for
循环遍历已经完成,此时的n=10
。因此,程序可以写作:def add(s, x): return s + x def gen(): for i in range(4): yield i # 第一个管道 if __name__ == '__main__': base = gen() base = (add(i, 10) for i in base) # 第二个管道 base = (add(i, 10) for i in base) # 第三个管道 list(base) # 开关驱动器
以上是目前掌握的yield,关于yield在程序优化中使用较多,同时关于python程序优化的小技巧还有很多,比如enumerate、map、lambda等等。
文章的不足之处,还请提醒,多多关照。