Yield 关键字
今天再看爬虫的时候,碰到了Yield,这是以前从来没有接触过的,看了以下两篇博客之后,豁然开朗:
https://blog.csdn.net/mieleizhi0522/article/details/82142856
https://blog.csdn.net/libbyandhelen/article/details/78957369
可迭代对象
mylist 是一个可迭代的对象。当你使用一个列表生成式来建立一个列表的时候,就建立了一个可迭代的对象:
>>> mylist = [x*x for x in range(3)]
>>> for i in mylist :
... print(i)
0
1
4123456
在这里,所有的值都存在内存当中,所以并不适合大量数据
生成器
- 可迭代
- 只能读取一次
- 实时生成数据,不全存在内存中
>>> mygenerator = (x*x for x in range(3))
>>> for i in mygenerator :
... print(i)
0
1
4
## >>> for i in mygenerator:
##... print(i)
## 再次输入,无结果输出
注意你之后不能再使用for i in mygenerator
了
yield关键字
yield
是一个类似return
的关键字,只是这个函数返回的是个生成器- 当你调用这个函数的时候,函数内部的代码并不立马执行 ,这个函数只是返回一个生成器对象
- 当你使用for进行迭代的时候,函数中的代码才会执行
>>> def createGenerator() :
... mylist = range(3)
... for i in mylist :
... yield i*i
...
>>> mygenerator = createGenerator() # create a generator
>>> print(mygenerator) # mygenerator is an object!
<generator object createGenerator at 0xb7555c34>
>>> for i in mygenerator:
... print(i)
0
1
4
到此处,已经大致了解工作步骤,其次就是了解yield的具体执行流程。
next()
首先解释一下next(),有点类似于单步调试,会从上一个yield执行完的地方继续执行,直到遇到下一个yield。
def foo():
print("starting...")
while True:
res = yield 4
print("res:",res)
g = foo()
print(next(g))
print(""20)
print(next(g))
其实这个例子并不是很好,因为很少这么用,但是用作说明过程还是很形象的。
结果:
starting...
4
********************
res: None
4
-
程序开始执行以后,因为foo函数中有yield关键字,所以foo函数并不会真的执行,而是先得到一个生成器g(相当于一个对象,并没有输出starting)。
-
直到调用next方法,foo函数正式开始执行,先执行foo函数中的print方法,然后进入while循环。
-
程序遇到yield关键字,然后把yield想想成return,return了一个4之后,程序停止,并没有执行赋值给res操作,此时next(g)语句执行完成,所以输出的前两行(第一个是while上面的print的结果,第二个是return出的结果)是执行print(next(g))的结果。
-
程序执行print("*"20),输出20个。
-
又开始执行下面的print(next(g)),这个时候和上面那个差不多,不过不同的是,这个时候是从刚才那个next程序停止的地方开始执行的,也就是要执行res的赋值操作,这时候要注意,这个时候赋值操作的右边是没有值的(因为刚才那个是return出去了,并没有给赋值操作的左边传参数),所以这个时候res赋值是None,所以接着下面的输出就是res:None。
-
程序会继续在while里执行,又一次碰到yield,这个时候同样return 出4,然后程序停止,print函数输出的4就是这次return出的4。
send()
send(msg)与next()的区别在于send可以传递参数给yield表达式,这时传递的参数会作为yield表达式的值,而yield的参数是返回给调用者的值。
注意:第一次调用时必须先next()或send(None),否则会报错,send后之所以为None是因为这时候没有上一个yield。可以认为,next()等同于send(None)。
def foo():
print("starting...")
while True:
res = yield 4
print("res:",res)
g = foo()
print(next(g))
print("*"*20)
print(g.send(7))
--------------------
starting...
4
********************
res: 7
4
可见在执行send的时候,res有了值。
下面这个代码是我自己写的,为了体现yield的便利性:
def foo(num):
print('Starting....')
for i in range(num):
yield {
'num':i,
'num*num':i*i
}
def main():
for item in foo(3):
for key,value in item.items():
print(key,':',value)
if __name__ == '__main__':
main()
--------------
--------------
Starting....
num : 0
num*num : 0
num : 1
num*num : 1
num : 2
num*num : 4
值得注意的是,这里的生成器生成的是一个字典,所以在实行for item in foo(3):
的时候,得到的是一个字典,而不是字典中的键值对。