Win10系统下Scrapy爬虫框架安装及学习

一、Win10系统下安装Scrapy爬虫框架
    主要是几个部件的顺序安装，不要出错：
1.终端命令输入：pip install wheel
2.终端命令输入：pip install lxml
3.终端命令输入：pip install PyOpenssl
4.终端命令输入：pip install Twisted
5.终端命令输入：pip install Pywin32
6.终端命令输入：pip install scrapy
7.终端命令输入：scrapy，确认是否安装成功
二、在终端中进行调试
网站调试：scrapy shell quotes.toscrape.com（网站域名）
css测试：response.css('div.quote')
运行项目：scrapy crawl quotes(spider的类名)
三、bug处理
运行项目时报错：
ModuleNotFoundError: No module named 'quotetutorial.quotetutorial'
处理办法：
1.找到爬虫项目的根目录，鼠标右键，把它改为Sources Root文件。
更改为Sources Root之后，文件的样式如图（quotetutorial变成了蓝色）

四、数据保存
输入命令：scrapy crawl quotes -o quotes.json
即可重新运行程序，重新抓取数据，并输出成名为quotes的json格式文件。
另外，scrapy还默认提供 jl、csv、xml等等格式，修改保存命令的后缀即可。