Scrapy爬虫入门教程二 官方提供Demo

开发环境： 
Python 3.6.0 版本 （当前最新） 
Scrapy 1.3.2 版本 （当前最新） 
[toc]

今天研究下官方给出的案例，大家可以多看看，多模仿模仿。

例子

最好的学习方法是使用示例，Scrapy也不例外。因此，有一个名为quotesbot的 Scrapy项目示例，请访问https://github.com/scrapy/quotesbot，一个使用CSS选择器，另一个使用XPath表达式，此项目仅用于教育目的。

提取的数据

提取的数据看起来像这个示例：

{
    'author': 'Douglas Adams',
    'text': '“I may not have gone where I intended to go, but I think I ...”',
    'tags': ['life', 'navigation']
}

• 1
• 2
• 3
• 4
• 5

---

爬虫

此项目包含两个爬虫，您可以使用list 命令列出它们：

$ scrapy list 
toscrape-css 
toscrape-xpath

两个爬虫都从同一网站提取相同的数据，但toscrape-css 使用CSS选择器，而toscrape-xpath使用XPath表达式。

---

运行爬虫

您可以使用scrapy crawl命令运行爬虫，如： 
$ scrapy crawl toscrape-css

如果要将已抓取的数据保存到文件，可以传递-o选项： 
$ scrapy crawl toscrape-css -o quotes.json