以python2.7 win7环境安装scrapy为例:
安装步骤:
1、安装python
官网下载安装,地址:https://www.python.org/downloads/
2、安装pywin32
下载地址:https://sourceforge.net/projects/pywin32/files/?source=navbar
一定要根据python版本、系统位数(x64 or x86)选择相应版本
3、安装lxml
下载地址:https://pypi.python.org/pypi/lxml/3.4.2
用pip方式安装即可
4、安装pyOpenSSL
下载地址:https://pypi.python.org/pypi/pyOpenSSL
5、安装Twisted
下载地址:https://pypi.python.org/pypi/Twisted
6、安装w3lib httplib2
pip install w3lib
pip install httplib2
最后一步:安装scrapy
pip install scrapy
注:一定要根据自己的系统、python版本选择对应的安装包,否则容易安装失败。
附:scrapy中文教程http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html