步骤
1.建立工程和spider模板
相关命令:
scrapy startproject Baidustocks
cd Baidustocks
scrapy genspider stock baidu.com
进一步修改spider/stocks.py文件
2.编写spider
配置stocks.py文件
3编写item pipelines
配置pipelines.py文件
定义对爬取项(scrapy Item)的处理类
因为定义了新的类,所以需要配置settings.py文件
ITEM_PIPELINES 选项修改成自己定义的类
最后运行文件—scrapy crawl stocks
配置优化的选项