Day19—Scrapy框架高级特性

前情文章：Day18—使用Scrapy框架快速开发爬虫

Scrapy框架提供了一系列的高级特性，这些特性使得Scrapy不仅仅是一个简单的爬虫工具，而是一个功能强大的爬虫和网页抓取框架。上一篇已经详细介绍如何使用Scrapy框架，包括创建项目、编写爬虫规则、设置中间件和管道等。

本文将深入讲解Scrapy框架的高级特性，包括信号（Signals）、管道（Pipelines）、下载延迟（Download Delay）、自动限速（Auto Throttle）等。

1. 信号（Signals）

Scrapy的信号机制允许不同组件之间进行通信。信号可以在某些事件发生时发送和接收，类似于观察者模式。Scrapy内置了一些信号，也可以自定义信号。

• 内置信号：例如item_scraped、request_scheduled等。
• 使用信号：可以在爬虫或管道中连接信号处理器。

from scrapy import signals

class MySpider