超级会员免费看
本文通过实例详细介绍了如何使用Scrapy框架爬取国外名人名言网站的数据，包括名言和作者信息。文章阐述了Scrapy的运行机制，解释了start_urls、parse方法、CSS选择器和XPath的运用，以及如何处理下一页链接。此外，还讨论了Scrapy的异步特性、并发下载和限制策略，以及Scrapy的其他强大功能，如内置选择器、编码处理、数据保存和扩展性等。
经过前一个例子的学习，已经对scrapy写爬虫之简单，代码量之少，感觉到非常吃惊了吧。为了更进一步了解scrapy的运行机制，以及它的实际工作过程，再来学习一个的爬取国外名人名言的例子，透过这个例子再次地加深scrapy的理解。
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等等的程序中。
其最初是为了实现网页抓取所设计的， 现在也可以应用于通过API获取数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
我们首先来了解需要抓取数据的网站，如下：
订阅专栏 解锁全文
扫一扫
912
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
