scrapy
DEREK_D
这个作者很懒,什么都没留下…
展开
-
scrapy项目中的备忘
在使用genspider 命令时生成的名字就是name 属性,同时在运行cdm命令的时候也是使用这个名字作为参数。 例如:scrapy runspider douban.py Middlewares 定义:介于Scrapy引擎和爬虫之间的框架,主要工作是处理蜘蛛的响应输入和请求输出。 ...原创 2020-03-17 11:35:24 · 143 阅读 · 0 评论 -
scrapy 中yield的作用
yield 和return 都有返回数据的作用,最主要的不同在于yield在返回值后还可以继续运行接下来的代码,而return在返回后就不在执行代码。 在scrapy中,爬取的数据量往往十分巨大,如果使用return和list存储之后在一次性返回将带来巨大的内存消耗。而yield可以在返回一组数据后再处理下一组数据,大大减少了内存的浪费。...原创 2018-11-19 13:23:01 · 2257 阅读 · 0 评论