爬虫框架之Scrapy -- 爬取某招聘网站(一)
案例1:爬取内容存储为一个文件
Scrapy框架的组织架构、运行原理介绍
组件名称
组件作用
Scrapy Engine:Scrapy引擎
Scrapy引擎是整个框架的核心,其作用是控制调试器、下载器、爬虫。
Scheduler: 调度器
由它来决定下一个要抓取的网址是什么,同时去除重复的网址。
Downloader: 下载器
负责下载引擎的request请求,并将获...
原创
2019-07-20 22:17:29 ·
1481 阅读 ·
1 评论