安装文件
lxml、PyOpenssl、Twisted、Pywin32
执行 scrapy
创建一个项目:
scrapy startproject hello
创建一个爬虫:
cd hello
scrapy genspider baidu www.baidu.com
执行爬虫:
scrapy crawl baidu
文件夹里有.cfg文件,是scrapy相关部署信息
items 保存数据的数据结构
middlewares 爬去过程中的中间地,处理response等操作,可以改配置
进入命令行交互模式:
scrapy shell quotes.toscrape.com
抓取第一页
获取下一页链接
翻页爬取
保存