Scrapy的安装附带相关问题处理

Scrapy框架在制作网络爬虫中非常好用，这里介绍一下其安装过程以及相关问题

Scrapy官网 http:/scrapy.org Scrapy官网

下载whl文件，注意对应自己的系统以及python版本

说明一下 将whl文件解压后是可以在python中直接调用，但是使用不方便，且可能存在隐藏问题所以这里还是推荐使用pip包管理器

提一下pip包管理器的问题，如果在控制台输入pip提示不是可执行文件或命令。先检查python安装路径的Script目录是否有pip.exe文件 如果有那么问题应该是没有设置环境变量

环境变量的设置：最简单的办法在开始菜单中搜索“环境变量”回车，新建环境变量 把Script目录加进去就好了

此时再在控制台中输入pip，是这样的结果说明成功

如果没有那就需要自己安装pip了，一般情况是是自动安装了pip的，没有就下载一个pip

再easy_install pip如果easy_install也没有 那就是/lib/site-page没有加入环境变量了

最后输入pip install scrapy

等待安装结束。

最常见的一个错误：unable to find vcvarsall.bat

这个依赖VS 如果你安装的有VS那么打开python安装目录，打开/Lib/distutils文件夹打开msvc9compiler.py

ctrl+find搜索vc_env

这里第一个参数就是你的VS版本号-1，如果没有可以在VS吧去找一个下载或者MSDN I tell you

还有pip版本过低问题，这个问题很好解决

输入命令:python -m pip install --upgrade pip就可以自动更新了

测试是否安装成功：

在测试台中输入scrapy

输出结果是这样就表示安装成功可以正常使用了。

我出现过一次pip install安装成功但是scrapy显示不是外部程序或者命令 再easy_install scrapy就好了