weixin_48070689的博客

原创 scrapy实战--爬取腾讯的招聘信息

一，scrapy框架的工作流程首先由引擎爬虫程序索要第一个要爬取的URL,交给调度器去入队列－－＞调度器处理请求后出队列，通过下载器中间件交给下载器去下载－－＞下载器得到响应对象后，通过蜘蛛中间件交给爬虫程序－－＞爬虫程序进行数据提取－－＞数据交给管道文件取入库处理，对于需要跟进的URL,再次交给调度器入队列，依次循环！二，编写items.py文件(主要是用来定义爬取的文件和保存）三，编写spiders爬虫文件首先scrapy框架中由引擎爬虫程序索要第一个要爬取的URL, 再把招