Scrapy架构图 + Scrapy的运作流程 + 制作Scrapy爬虫步骤

 

Scrapy架构图

Scrapy的运作流程：

 

注意： 只有当调度器中不存在任何request, 整个程序才会停止。

 

制作Scrapy爬虫步骤:

 

items.py 定制抓取目标的文件 
spiders/xxspider.py  编写爬虫,处理响应
pipelines.py  存储items.py定义的目标数据
为什么叫爬虫？ 说白了就是程序==蜘蛛，去寻找网上的资源。