scrapy使用步骤
1:创建爬虫项目
cd /data
scrapy startproject abc
2:创建爬虫文件
scrapy genspider -l 查看有哪些模板
scrapy genspider -t basic qw baidu.com
3:编辑items.py制定需要抓取那些数据
4:编辑pipelines.py,对爬去的数据做进一步的处理
5:编辑settings.py
比如:ITEM_PIPELINES
6:编辑爬虫文件qw.py
1:创建爬虫项目
cd /data
scrapy startproject abc
2:创建爬虫文件
scrapy genspider -l 查看有哪些模板
scrapy genspider -t basic qw baidu.com
3:编辑items.py制定需要抓取那些数据
4:编辑pipelines.py,对爬去的数据做进一步的处理
5:编辑settings.py
比如:ITEM_PIPELINES
6:编辑爬虫文件qw.py