1.创建新项目
scrapy startproject testproject(项目名称)
2.显示文件目录
tree
3.生成一个spider
scrapy genspider xx(项目名称) xx(配置的域名)
4.运行spider
scrapy crawl xx(项目名称)
5.将网页下载到本地运行
scrapy view xxx(网页名称)
6.将数据保存为json格式
scrapy crawl xx(项目名称) -o xx.json
1.创建新项目
scrapy startproject testproject(项目名称)
2.显示文件目录
tree
3.生成一个spider
scrapy genspider xx(项目名称) xx(配置的域名)
4.运行spider
scrapy crawl xx(项目名称)
5.将网页下载到本地运行
scrapy view xxx(网页名称)
6.将数据保存为json格式
scrapy crawl xx(项目名称) -o xx.json