Scrapy 框架介绍及入门

1. Scrapy 框架介绍

• Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy = Scrach+Python

• Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试、信息处理和历史档案等大量应用范围内抽取结构化数据的应用程序框架，广泛用于工业

• Scrapy 使用Twisted 这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。Scrapy是由Twisted写的一个受欢迎的Python事件驱动网络框架，它使用的是非堵塞的异步处理

1.1 为什么要使用Scrapy？

• 它更容易构建和大规模的抓取项目
• 它内置的机制被称为选择器，用于从网站（网页）上提取数据
• 它异步处理请求，速度十分快
• 它可以使用自动调节机制自动调整爬行速度
• 确保开发人员可访问性

1.2 Scrapy的特点

• Scrapy是一个开源和免费使用的网络爬虫框架
• Scrapy生成格式导出如：JSON，CSV和XML
• Scrapy内置支持从源代码，使用XPath或CSS表达式的选择器来提取数据
• Scrapy基于爬虫，允许以自动方式从网页中提取数据

1.3 Scrapy的优点

• Scrapy很容易扩展，快速和功能强大；
• 这是一个跨平台应用程序框架（在Windows，Linux，Mac OS和BSD）。
• Scrapy请求调度和异步处理；
• Scrapy附带了一个名为Scrapyd的内置服务，它允许使用JSON Web服务上传项目和控制蜘蛛。
• 也能够刮削任何网站，即使该网站不具有原始数据访问API；

1.4 整体架构大致如下: