Scrapy总结

一、Scrapy组件

1、 Scrapy Engine
引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。
此组件相当于爬虫的“大脑”，是整个爬虫的调度中心。
2、 调度器(Scheduler)
调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。
初始的爬取URL和后续在页面中获取的待爬取的URL将放入调度器中，等待爬取。同时调度器会自动去除重复的URL（如果特定的URL不需要去重也可以通过设置实现，如post请求的URL）
3、 下载器(Downloader)
下载器负责获取页面数据并提供给引擎，而后提供给spider。
4、 Spiders
Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。
5、 Item Pipeline
Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。
当页面被爬虫解析所需的数据存入Item后，将被发送到项目管道(Pipeline)，并经过几个特定的次序处理数据，最后存入本地文件或存入数据库。
6、 下载器中间件(Downloader middlewares)
下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
通过设置下载器中间件可以实现爬虫自动更换user-agent、IP等功能。
作用：批量拦截请求和响应
7、 Spider中间件(Spider middlewares)
Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

二、 数据流

1、引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
2、引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
3、引擎向调度器请求下一个要爬取的URL。
4、调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
5、一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。
6、引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
7、Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
8、引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。
9、(从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。

三、 反爬机制和应对措施

1、通过Headers
措施：添加User-Agent和Referer
2、基于用户行为
措施：代理IP、延迟爬取
3、动态页面
措施：requests模拟ajax请求，如果请求加密了使用selenium+phantomJS
验证码解决：Tesseract

四、 日志信息和错误等级

1、CRITICAL 严重错误
2、ERROR 一般错误
3、WARNING 警告
4、INFO 普通信息
5、DEBUG 调试信息（默认）

五、下载中间件

（一）作用

批量拦截请求和响应

（二）拦截的请求

1、篡改请求头信息（User-Agent）：
2、设置相关请求对象的代理ip（process_exception中）

（三）最重要三个方法

1、process_request:拦截所有非异常的请求
2、process_response：拦截所有的响应对象
3、process_exception：拦截发生异常的请求对象，需要对异常的请求对象进行相关处理，让其变成正常的请求对象，然后通过return request 对该请求进行重新发送

（四）scrapy应用selenium的编码流程

1、实例化浏览器对象（一次）：spider的init方法
2、需要编写浏览器自动化的操作（中间件的process_response）
3、关闭浏览器（spider的closed方法中进行关闭操作）

六、如何提升scrapy爬取数据的效率

1、增加并发线程数。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。
2、更改日志级别
在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写：LOG_LEVEL = ‘INFO’
3、禁止cookie
如果不是真的需要cookie，则在scrapy爬取数据时可以禁止cookie从而减少CPU的使用率，提升爬取效率。在配置文件中编写：COOKIES_ENABLED = False
4、禁止重试
对失败的HTTP进行重新请求（重试）会减慢爬取速度，因此可以禁止重试。在配置文件中编写：RETRY_ENABLED = False
5、减少下载超时
如果对一个非常慢的链接进行爬取，减少下载超时可以能让卡住的链接快速被放弃，从而提升效率。在配置文件中进行编写：DOWNLOAD_TIMEOUT = 10 超时时间为10s
6、使用分布式爬虫

七、爬取数据去重

1、使用scrapy自带的set集合去重，当程序结束的时候会被清空。缺点：再次运行会导致数据重复。
2、对url地址进行md5，base64加密，加密之后会得到一串字符，判断字符串是否在mysql表中，如果在表示已经爬取过了，如果不在，表示没有爬取。缺点： 但是这个方法对mysql压力过大，导致崩溃，不推荐
3、使用scrapy_redis的去重。会将已经爬取的url地址经过编码后存入redis，并且会做数据持久化，当爬虫再次启动时，会重新加载本地的数据，对爬虫的url做去重。缺点：如果数据量较大的时候，会占用较多的内存空间
4、使用布隆去重。采用多重哈希，将url地址映射到位阵列中的某个点上，空间和时间利用率更高(推荐)

八、布隆过滤器

当采集的数据量很大时，可以使用布隆过滤器，该算法占用空间小且可控，适合海量数据去重。 但是该算法会有漏失率，对爬虫而言就是漏爬。可以通过调整过滤器负载个数、内存配置、哈希次数以降低漏失率。 默认 1 个过滤器，256 M 内存，使用 7 个 seeds，这个配置表示漏失概率为 8.56e-05 时，可满足 0.93 亿条字符串的去重。当漏失率为 0.000112 时，可满足 0.98 亿条字符串的去重。

custom_settings = {
        ...,
        'DUPEFILTER_CLASS': 'SP.bloom_dupefilter.BloomRFDupeFilter',  # 使用布隆过滤器
        'SCHEDULER_PERSIST': True,  # 开启持久化
        'BLOOM_NUM': 1,  # 布隆过滤器负载个数，当内存达到限制时，可以增加负载个数
        'BLOOM_MEM': 256,  # 布隆过滤器内存大小（单位 M），内存最大 512 M （因为 redis string 最大只能 512 M）
        'BLOOM_K': 7,  # 布隆过滤器哈希次数，次数越少，去重越快，但是漏失率越高
    }