scrapy 基本用法

安装文件
lxml、PyOpenssl、Twisted、Pywin32

执行 scrapy
创建一个项目：
scrapy startproject hello
创建一个爬虫：
cd hello
scrapy genspider baidu www.baidu.com
执行爬虫：
scrapy crawl baidu

文件夹里有.cfg文件，是scrapy相关部署信息
items 保存数据的数据结构
middlewares 爬去过程中的中间地，处理response等操作，可以改配置

进入命令行交互模式：
scrapy shell quotes.toscrape.com

抓取第一页
获取下一页链接
翻页爬取
保存