Pycharm创建scrapy项目

最近写个小项目，需要用到scrapy框架，折腾了半天才折腾好，踩坑经验如下：

不能直接用pycharm创建scrapy项目，否则会导致各种奇葩报错问题，正确操作流程如下：

1、创建一个文件夹，使用cmd命令，cd到该文件夹，然后使用pip命令安装scrapy框架：

pip install scrapy

这个命令如果报错：ImportError: cannot import name SourceDistribution，请手动升级pip

升级命令：

curl https://bootstrap.pypa.io/pip/2.7/get-pip.py -o get-pip.py

python get-pip.py

升级完成后重新执行pip install scrapy命令

此时文件夹中会自动创建一个scrapy项目，右键该文件夹使用pycharm打开该文件夹

2、创建爬虫

直接在pycharm的命令框输入

scrapy genspider 爬虫名称  爬虫URL

以上完成scrapy项目的创建（python版本：2.7）