scrapy安装及PyCharm的scrapy配置

安装scrapy（Windows）

1.进入cmd后，测试一下pip是否安装（pip  -h），如下，说明已安装

2.使用命令pip  install scrapy 安装scrapy

2.1.该过程中可能出现的问题：error:Unable to find vcvarsall.bat

    解决方法：打开Python安装目录下的Lib/distutils/msv9comiler.py，该文件中有一条代码如下：vc-env=query_vcvarsall(VERSION,plat_spec)，将其改为：vc-env=query_vcvarsall(14.0,plat_spec)【改成14.0是因为我安装的Visual  Studio2015版本】【msv9comiler.py文件中代码很多，我们可以通过Ctrl+f进行查找】，若没有安装Visual  Studio，还需安装。

2.2. 该过程中可能出现的问题：error:command 'E:\\program file <x86>\\Microsoft Visual Studio14.0\UC\BIN\\x86_amd64\\c1.exe' faild with exit status2(该错误是因为缺少lxml)

    解决方法：通过http://www.lfd.uci.edu/~gohlke/pythonlibs/下载lxml：

可以通过Ctrl+f查找，注意你需下载的是32位还是64位，由你的Python位数决定。

进入cmd，如果未安装wheel，需安装：pip install wheel。

之后cmd进入lxml-3.7.3-cp27-cp27m-win_amd64.whl所存放的目录，使用

pip install lxml-3.7.3-cp27-cp27m-win_amd64.whl进行该文件的安装。

3.解决了相应问题，scrapy安装成功后，还需安装pywin32，百度云链接：

http://pan.baidu.com/s/1qXDXT7m     密码：4lr4。下载完成后直接打开安装即可。

4.设置scrapy环境变量：我的电脑--属性---高级系统设置--环境变量--系统变量，找到path，编辑“；scrapy所在目录”，注意“；”。

5.完成如上步骤后，scrapy就可以使用了

注

出现：error: lxml-3.7.3-cp27-cp27m-win_amd64.whl isnot a supported wheel on this platform

说明lxml与Python位数不一致

pyCharm配置scrapy

1.安装pycharm（next--next。。。。）

2.安装结束后按该链接方法配置下载相应jar：http://www.cnblogs.com/xiaoli2018/p/4566639.html

3.使用命令行创建scrapy项目（scrapystartproject 项目名）

4.使用pycharm打开该项目

5.写爬虫

6.在spiders同级目录下创建新的Python项目begin.py，在begin.py中写入如下代码：

7.Run-->Edit Configuretion编辑如下：

8.配置结束，可以直接run“weisuen”

注

若运行时报如下错误：No module named xxx.items

解决方法：选中项目左键make_directory as-->sources root（若项目变颜色即可）