python中yield详解笔记

python yield

yield用途

return一个generation。关于generation的信息可详细查看官网。

本文拟解决问题

1. yield为什么运行速度很快？
2. yield的工作原理
3. 如何理解yield？

1. yield为什么运行速度很快

  通过跑python程序，发现运行yield与list，list append、return方法比较，yield的运行速度在某些情况下相对更快速，并且在内存方面，yield较前者内存耗费更小。因为yield生成的是一个生成器，它不必一次性将数据全部加载到内存中，而是在需要的时候读取数据，并且数据只迭代一次；另外，yield的底层过程使用C语言封装，使得其开发效率更加高效。

2. yield的工作原理

1. yield与list的工作机制是两个概念，其中list在python中返回iterable可迭代对象，而yield返回生成器generator对象。生成器对象是一种迭代器iterator，迭代器遵守迭代协议。iterable可以使用python内置的iter()方法返回一个iterator对象。
2. iterator对象中包含next()方法，next()方法从迭代器的第一个元素访问，每次访问返回当前元素并且指针向前移一步，使用next()方法后数据的读取不能回退。若在使用迭代对象中下一个元素不存在，继续使用next()方法会报错：StopIteration。
3. 在python中，函数中使用yield的数据返回对象就是一个生成器。在调用生成器运行的过程中，每次遇到 yield 时函数会暂停并保存当前所有的运行信息，返回 yield 的值, 并在下一次执行 next() 方法时从当前位置继续运行。调用一个生成器函数，返回的是一个迭代器对象。

3. 如何理解yield

本节附带了两个程序，主要在于能够对yield有进一步深刻易懂的理解。
（1） yield简单运行过程
** 此点参照网上博客。**

   def foo():
       print("test...")
       while True:
           res = yield 9
           print("en heng")
           print(res)
   if __name__ == '__main__':    
       g = foo()
       print(g)
       print("1", "*"*20)
       print(next(g))
       print("2", "*"*20)
       print(g.send(7))
       print("3", "*"*20)
       print(next(g))

运行结果：

	<generator object foo at 0x0000023EB0873750>
	1 ********************
	test...
	9
	2 ********************
	en heng
	7
	9
	3 ********************
	en heng
	None
	9

通过上述运行结果，可以观察到以下三点：

• 函数带有yield，返回的是一个generator对象；
• 带yield函数的执行顺序：
    第一步，从函数开头执行到yield为止，可以将当前的yield看做return，将数据“9”返回终端；
    第二步，若yield在循环体内，则从上一次停止位置到到结束部分再到循环体（不会执行循环体以外的程序）；若yield不在循环体内，则程序直接执行到函数末尾并且报一个“StopIteration”错误（表示生成器元素已经遍历到末尾）；
• 对生成器使用send()方法时运行流程：一般使用send()方法分两步执行，①完成赋值，②执行next()方法。在上述程序中，对foo函数调用send()方法（在调用next()方法之后调用send()方法）时，首先完成对左边变量res的赋值操作，然后执行next()方法。

（2）yield的惰性计算
** 此点参照了网上博客。 **

  生成器表达式的惰性计算。有点类似于Spark中RDD的操作机制，仅当触发动作类型action操作是才会执行转换类型transformation操作（与RDD间的依赖有关）。
  备注：对spark的RDD操作机制感兴趣可以在网易云课堂上厦门大学林子雨老师的课《Spark编程基础》——免费的。
  生成器的惰性机制：生成器表达式只有在被检索时候，才会被赋值。
a. 程序走起

	def add(s, x):
	    return s + x
	
	def gen():
	    for i in range(7):
	        yield i
	if __name__ == "__main__":
		base = gen()
		for n in [1, 100]:
		    print("the n = ", n)
		    base = (add(i, n) for i in base)
		print(base)
		print(list(base))

b. 运行结果展示

	the n =  1
	the n =  100
	<generator object <genexpr> at 0x00000248CA0238B8>
	[200, 201, 202, 203, 204, 205, 206]

c. 为什么结果是[200, 201, 202, 203, 204, 205, 206]?

• 首先需要注意的第一个点：add(i, n)中的n是一个变量而非当时的值。
• 第二个点：此处有三个生成式表达式。调用gen()的base变量是一个generator，此时并没有真正触发迭代式操作（需要调用next()方法触发）；主函数的for循环有两个generator表达式(add(i, n) for i in base)。
• 第三个点：当运行最后一步print(list(base))时，触发了迭代式（next()方法）操作，开启了从第一个generator到第三个generator表达式的计算，注意的是此时的for循环遍历已经完成，此时的n=10。因此，程序可以写作：

     def add(s, x):
         return s + x
     def gen():
         for i in range(4):
             yield i  #  第一个管道
     if __name__ == '__main__':
         base = gen()
         base = (add(i, 10) for i in base) #  第二个管道
         base = (add(i, 10) for i in base) #  第三个管道
         list(base) #  开关驱动器
  

以上是目前掌握的yield，关于yield在程序优化中使用较多，同时关于python程序优化的小技巧还有很多，比如enumerate、map、lambda等等。

文章的不足之处，还请提醒，多多关照。

参考：
对 Python 迭代的深入研究
python中yield的用法详解——最简单，最清晰的解释