安装Scrapy（Windows下Python的爬虫环境）

如果没有安装Pyhton环境可以按照http://write.blog.csdn.net/postedit/78942650安装，以下以2.7为例。

我的Python安装在D盘（以下均以此为例），在“D:\Python27\Scripts”目录下，按住“shift”键，在文件夹空白处右击选择“在此处打开命令窗口”，在打开的命令行窗口的“D:\Python27\Scripts>”下进行以下安装操作。

①安装setuptools

python -m pip install  -U pip setuptools

②安装Zope.Interface

下载地址： https://pypi.python.org/pypi/zope.interface/4.4.2#downloads

最下面选择zope.interface-4.4.2.win32-py2.7.exe 下载后执行安装即可，Python命令行下

import zope.interface

不报错即视为安装成功。

③安装Twisted

python -m pip install  -U pip twisted

④安装w3lib

python -m pip install  -U pip w3lib

⑤安装pyOpenSSL

python -m pip install  -U pip pyOpenSSL

⑥安装VCForPython27.msi

下载地址： https://www.microsoft.com/en-us/download/details.aspx?id=44266

⑦安装libxml2

下载地址： https://www.lfd.uci.edu/~gohlke/pythonlibs/

找到Libxml-python

选择第一个下载，

①将下载的后缀为“.whl”的文件拷贝到“D:\Python27\Scripts”目录下；

②按住“shift”键，在文件夹空白处右击选择“在此处打开命令窗口”；

③命令行输入

pip install libxml2_python-2.9.3-cp27-none-win32.whl

见到successfully installed则完成安装。

然后输入

python -m pip install  -U pip lxml

⑧安装scrapy

python -m pip install  -U pip scrapy

⑨安装PyWin32

pip install pypiwin32