python Scrapy环境安装记录

1、安装python27 

去python官方下载，接着应该要下载pip，pip依赖于setuptools里面的easy_install，所以有了2、3步骤。

2、下载setuptools-36.0.1 （https://pypi.python.org/packages/a9/23/720c7558ba6ad3e0f5ad01e0d6ea2288b486da32f053c73e259f7c392042/setuptools-36.0.1.zip#md5=430eb106788183eefe9f444a300007f0）

得到了一个easy_install.py就可以安装pip（我是安装完找不到在哪里，就直接解压出来了，不过后来看到其实在C:\Python27\Scripts里面）

3、下载安装pip

安装完存在于C:\Python27\Scripts，可以配置环境变量（防止后面安装出现找不到easy_install的情况），或者在目录下用python运行；

4、下载安装scrapy  https://scrapy.org/download/

pip install Scrapy 

报错：Collecting Twisted>=13.1.0 (from Scrapy)
  Downloading Twisted-17.5.0-cp27-cp27m-win_amd64.whl (3.1MB)
    26% |████████▋                       | 839kB 12kB/s eta 0:03:01Exception:

应该是个应用程序所以y有了步骤5。

5、安装Twisted-17.5.0：

python easy_install.py twisted

又报错：error: Setup script exited with error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcpython27

安装Microsoft Visual C++ 9.0 （下载下来文件名字为VCForPython27.msi 83.82MB）

再次启动Twisted安装。

安装过程中貌似又出现好多插件需要安装，但是程序自动利用easy_install安装了。

最后出现字样：

Installed c:\python27\lib\site-packages\attrs-17.2.0-py2.7.egg
Finished processing dependencies for twisted

回到4：

执行pip install Scrapy 

报错：Collecting cryptography>=1.9 (from pyOpenSSL->Scrapy)
  Downloading cryptography-1.9-cp27-cp27m-win_amd64.whl (1.3MB)
    17% |█████▊                          | 235kB 15kB/s eta 0:01:10Exception:

 应该是需要cryptography>=1.9，寻找解决方案（步骤6）。

6、安装cryptography

先试试貌似万能的easy_install.

python easy_install.py cryptography

报错：cryptography 安装 fatal error C1083: Cannot open include file: 'openssl/opensslv.h'

百度了一下说要安装libssl-dev

下载了https://pypi.python.org/pypi/pyOpenSSL

pip install pyOpenSSL-17.1.0-py2.py3-none-any.whl 试试。

结果运行完出现了

Successfully built pycparser

 7、继续安装cryptography

成功了。

再安装pip install Scrapy

没报错，但是不知道是否成功，cmd中输入Scrapy出现一大串Requirement already satisfied（要求满足），所以原来只是安装了环境。

最后一步，

下载scrapy 解压后，执行python setup.py install

显示

Using c:\python27\lib\site-packages
Finished processing dependencies for Scrapy==1.4.0

总结

利用pip工具 pip install Scrapy测试Scrapy环境是否完善

 利用setuptools的easy_install.py脚本安装缺少的插件。

最后安装scrapy 主程序即可。

另：

运行存在乱码问题解决：

在Python的Lib\site-packages文件夹下新建一个sitecustomize.py：

import sys    
sys.setdefaultencoding('gb2312')