scrapy架构图
引擎(Engine)
引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件.
调度器(Scheduler)
调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎.
下载器
下载器负责获取页面数据并提供给引擎,而后提供给spider.
spider
Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类. 每个spider负责处理一个特定网站
下载器中间件(Downloader Middlewares)
下载器中间件是在引擎及下载器之间的中间件,处理Downloader传递给引擎的response.
Spider中间件(Spider Middlewares)
处理spider的输入(response)和输出(items及requests). 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能
管道(Item Pipeline)
Item Pipeline负责处理被spider提取出来的item.典型的处理有清理、 验证及持久化(例如存取到数据库中).
工作流程:
- 引擎从Spiders中获取到最初的要爬取的请求(Requests).
- 引擎安排请求(Requests)到调度器中,并向调度器请求下一个要爬取的请求(Requests).
- 调度器返回下一个要爬取的请求(Requests)给引擎.
- 引擎将上步中得到的请求(Requests)通过下载器中间件(Downloader Middlewares)发送给下载器(Downloader ),这个过程中下载器中间件(Downloader Middlewares)中的process_request()函数会被调用到.
- 一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件(Downloader Middlewares)发送给引擎,这个过程中下载器中间件(Downloader Middlewares)中的process_response()函数会被调用到.
- 引擎从下载器中得到上步中的Response并通过Spider中间件(Spider Middlewares)发送给Spider处理,这个过程中Spider中间件(Spider Middlewares)中的process_spider_input()函数会被调用到.
- Spider处理Response并通过Spider中间件(Spider Middlewares)返回爬取到的Item及(跟进的)新的Request给引擎,这个过程中Spider中间件(Spider Middlewares)的process_spider_output()函数会被调用到.
- 引擎将上步中Spider处理的其爬取到的Item给Item 管道(Pipeline),将Spider处理的Request发送给调度器,并向调度器请求可能存在的下一个要爬取的请求(Requests).
- (从第二步)重复直到调度器中没有更多的请求(Requests).
常见的反扒措施和应对方法
User-Agent
User-Agent是检查用户所用客户端的种类和版本,在Scrapy中,通常是在下载器中间件中进行处理。
referer
referer是检查此请求由哪里来,通常可以做图片的盗链判断。在Scrapy中,如果某个页面url是通过之前爬取的页面提取到,Scrapy会自动把之前爬取的页面url作为referer。也可以通过上面的方式自己定义
cookies
网站可能会检测cookie中session_id的使用次数,如果超过限制,就触发反爬策略。所以可以在Scrapy中设置COOKIES_ENABLED=False让请求不带Cookies。
也有网站强制开启Cookis,这时就要麻烦一点了。可以另写一个简单的爬虫,定时向目标网站发送不带Cookies的请求,提取响应中Set-cookie字段信息并保存。爬取网页时,把存储起来的Cookies带入Headers中。
ip限制
如果某一IP的请求速度过快,就触发反爬机制。放慢爬取速度或者添加代理。
在下载器中间件中添加: request.meta['proxy'] = 'http://' + 'proxy_host' + ':' + proxy_port
动态加载
使用Selenium
给脏数据