最近写个小项目,需要用到scrapy框架,折腾了半天才折腾好,踩坑经验如下:
不能直接用pycharm创建scrapy项目,否则会导致各种奇葩报错问题,正确操作流程如下:
1、创建一个文件夹,使用cmd命令,cd到该文件夹,然后使用pip命令安装scrapy框架:
pip install scrapy
这个命令如果报错:ImportError: cannot import name SourceDistribution,请手动升级pip
升级命令:
curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.py
python get-pip.py
升级完成后重新执行pip install scrapy命令
此时文件夹中会自动创建一个scrapy项目,右键该文件夹使用pycharm打开该文件夹
2、创建爬虫
直接在pycharm的命令框输入
scrapy genspider 爬虫名称 爬虫URL
以上完成scrapy项目的创建(python版本:2.7)