在使用python处理scrapy按照通常的步骤
1、scrapy startproject yourprojectname
2、配置item.py
3、编写spider脚本以及其他配置文件
4、scrapy crawl name(spider文件name的值)
在执行完第四步后,有时候会报如下错误:
KeyError: 'Spider not found: dmoz'
解决方案是,先执行下面的脚本再执行爬虫的脚本scrapy genspider tencentPostion tencentPostion.org