最近开始接触爬虫,在使用Scrapy的过程中,遇到了一些python基础知识,借此做一下记录和总结。
初步认识
生成器
生成器,需要和迭代器一起来理解。
先看下对比:
迭代器:mylist=[x*x for x in range(3)]
生成器:mygen=(x*x for x in range(3))
迭代器,就是类似于 for x in mylist:
这样的形式。
其中mylist
就是可迭代对象,这样的值在迭代过程中是全部存在于内存中,可想而知,如果是大量的数据这样就浪费了很多资源,因为在实际操作中,你可能只需要其中的几个数据,但是迭代是直接迭代完所有可迭代对象的所有数据。
生成器,也是可以进行迭代的。但是关键就在于,只可以读取它一次,也就是需要它的时候,它才被拿来使用,其他时间都没他什么事。这样就可以很好解决资源存在的浪费问题。
例子:
>>> mylist=[x*x for x in range(3)]
>>> print(mylist)
[0, 1, 4]
>>> mygen=(x*x for x in range(3))
>>> print(mygen)
<generator object <genexpr> at 0x0000018803CA5480>
这个结果可以看出