python scrapy 爬虫爬取quotes.toscrape.com

1、安装scrapy   pip包的管理工具
pip install scrapy（在cmd中下载）

win+r键输入cmd 进入命令行
2.scrapy介绍
它是由五部分组成 
引擎  下载器  spider  中间件  管道
你只需要知道spider即可 因为所有代码都在这里面
管道是处理数据的 框架定义好接口 调用就可以了
3.xpath
网页的组成   结构(html)     表现(css)      行为(js)
4.创建scrapy项目
scrapy startproject quotesSpider（cmd中）
scrapy startproject 项目名

__init__.py 初始化文件
items.py 数据模型
middlewares.py  中间件
pipelines.py 管道
settings.py 配置文件

5.创建爬虫文件
cd quotesSpider/quotesSpider（在cmd中）
scrapy genspider quotes "quotes.toscrape.com"（cmd中）
6.运行爬虫文件
scrapy crawl quotes
7.生成json文件
scrapy crawl quotes -o quotes.json（cmd运行 python中会出现json文件）

8.xpath使用
//div     代表找到所有的div标签
/div       代表找到所有的子标签 并且名字为div
/div[n]  代表 找到父级元素下的第n个子标签 并且名字为div（下标从1开始）
div[@class="box"]  找到具有class属性 并且名字为box的div标签

cd 文件将文件拖进cmd中 会出现路径

设置python环境

出现scrapy       鼠标指向scrapy单击使用alt+enter添加 需要的包。

在pass后输入

quotes = response.xpath("//div[@class='quote']") for quote in quotes: # 迭代器 yield { "text":quote.xpath("span[@class='text']/text()").extract_first(), "author":quote.xpath("span[2]/small/text()").extract_first() }

打开这个网站使用f12或者右键检查会发现我们要的数据

爬出出数据成功。