scrapy爬虫框架

scrapy架构图

 

引擎（Engine）

引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件.

 

调度器(Scheduler)

调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎.

 

下载器

下载器负责获取页面数据并提供给引擎,而后提供给spider.

 

spider

Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类. 每个spider负责处理一个特定网站

 

下载器中间件(Downloader Middlewares)

下载器中间件是在引擎及下载器之间的中间件,处理Downloader传递给引擎的response. 

 

Spider中间件(Spider Middlewares)

处理spider的输入(response)和输出(items及requests). 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能

 

管道（Item Pipeline）

Item Pipeline负责处理被spider提取出来的item.典型的处理有清理、 验证及持久化(例如存取到数据库中). 

 

工作流程：

• 引擎从Spiders中获取到最初的要爬取的请求（Requests）.
• 引擎安排请求（Requests）到调度器中,并向调度器请求下一个要爬取的请求（Requests）.
• 调度器返回下一个要爬取的请求（Requests）给引擎.
• 引擎将上步中得到的请求（Requests）通过下载器中间件（Downloader Middlewares）发送给下载器（Downloader ）,这个过程中下载器中间件（Downloader Middlewares）中的process_request()函数会被调用到.
• 一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件（Downloader Middlewares）发送给引擎,这个过程中下载器中间件（Downloader Middlewares）中的process_response()函数会被调用到.
• 引擎从下载器中得到上步中的Response并通过Spider中间件(Spider Middlewares)发送给Spider处理,这个过程中Spider中间件(Spider Middlewares)中的process_spider_input()函数会被调用到.
• Spider处理Response并通过Spider中间件(Spider Middlewares)返回爬取到的Item及(跟进的)新的Request给引擎,这个过程中Spider中间件(Spider Middlewares)的process_spider_output()函数会被调用到.
• 引擎将上步中Spider处理的其爬取到的Item给Item 管道（Pipeline）,将Spider处理的Request发送给调度器,并向调度器请求可能存在的下一个要爬取的请求（Requests）.
• (从第二步)重复直到调度器中没有更多的请求（Requests）.

 

常见的反扒措施和应对方法

User-Agent

User-Agent是检查用户所用客户端的种类和版本，在Scrapy中，通常是在下载器中间件中进行处理。

referer

referer是检查此请求由哪里来，通常可以做图片的盗链判断。在Scrapy中，如果某个页面url是通过之前爬取的页面提取到，Scrapy会自动把之前爬取的页面url作为referer。也可以通过上面的方式自己定义

cookies

网站可能会检测cookie中session_id的使用次数，如果超过限制，就触发反爬策略。所以可以在Scrapy中设置COOKIES_ENABLED=False让请求不带Cookies。

也有网站强制开启Cookis，这时就要麻烦一点了。可以另写一个简单的爬虫，定时向目标网站发送不带Cookies的请求，提取响应中Set-cookie字段信息并保存。爬取网页时，把存储起来的Cookies带入Headers中。

 

ip限制

如果某一IP的请求速度过快，就触发反爬机制。放慢爬取速度或者添加代理。

在下载器中间件中添加: request.meta['proxy'] = 'http://' + 'proxy_host' + ':' + proxy_port

 

动态加载

使用Selenium

 

给脏数据