windows系统下搭建爬虫框架scrapy

摘要：本机环境为windows 7，64位系统，python 2.7（装成了32位的了）

自己虽接触python有一月有余，但仍属于菜鸟一枚，此文主要记录自己在windows上搭建scrapy的过程。

 

 

1.安装twisted

https://pypi.python.org/simple/twisted

里面有很多版本，最后下载exe格式的可以自动安装，我下载的版本是Twisted-15.4.0.win32-py2.7.exe

安装完成后，你会在C:\Python27\Lib\site-packages目录下看到twisted文件夹

2.安装zope.interface

https://pypi.python.org/simple/zope.interface/

很多版本，根据windows位数，python版本号，以及exe文件傻瓜式安装，我选择的版本是zope.interface-4.1.1.win32-py2.7.exe

安装完成后，你会在C:\Python27\Lib\site-packages目录下看到zope文件夹

3.安装pyopenssl

从这里https://pypi.python.org/pypi/pyOpenSSL下载，本人选择了16.2.0版本

下载下来之后，解压。运行-输入cmd，切换到pyOpenSSL-16.2.0解压路径，执行python setup.py  install语句

4.安装lxml

从这里https://pypi.python.org/pypi/lxml/下载，本人选择了3.6.4版本

下载下来之后，解压。运行-输入cmd，切换到lxml-3.6.4解压路径，执行python setup.py install语句

5.安装scrapy

从这里https://pypi.python.org/pypi/Scrapy下载，本人选择了1.2.2版本

下载下来之后，解压。运行-输入cmd，切换到Scrapy-1.2.2解压路径，执行python setup.py install语句