码农阿杰的博客

Scrapy 是一个适用于 Python 的一个快速、高层次的、开放源代码的屏幕抓取和 web 抓取的应用程序框架，用于抓取 web 站点并从页面中提取结构化的数据，可用于各种有用的应用程序。Scrapy 常应用在包括数据挖掘、监测、信息处理、存储历史数据（历史档案）或自动化测试等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。