安装环境:
Windows 8 64bit
Python3.6 64bit
1. 安装Visual C++ Build Tools
scrapy底层库依赖C语言编译环境,目前Python3.5和Python3.6依赖的编译环境是Visual C++ 2015 Build Tools,需要先安装Visual C++ Build Tools,如果已经装了Visual Studio 2015机器,就不需要重新再安装Visual C++ 2015 Build Tools,详情见https://wiki.python.org/moin/WindowsCompilers
2. 安装lxml
pip install lxml
下载后,切换到下载安装文件的目录,执行pip install lxml-xxx.whl, lxml-xxx.whl指的是你下载的lxml安装文件名字
3. 安装pywin32
选择合适的操作系统版本下载安装
4. 安装Twisted
pip install Twisted
如果通过pip安装不了Twisted,同样建议手动下载安装文件,地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
根据相应系统选择适合的安装文件
下载后,切换到下载路径,执行pip install Twisted-xx.whl,Twisted-xx.whl指的是下载的Twisted安装文件名字
5. 安装scrapy
pip install scrapy
验证下scrapy是否安装成功
Tips
1. scrapy ModuleNotFoundError: No module named 'zope'
安装 Twisted过程中,如果出现这个错误提示,说明需要安装zope.interface模块,如果pip 安装失败,可以手动下载zope.interface进行安装,地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#zope.interface
如果安装成功zope.interface后,使用scrapy时,依旧报这个错误,建议先执行将安装的zope.interface先pip uninstall,再重新安装下载的zope.interface安装文件。
2. pip安装pymongo失败
如果环境需要连接mongo,pip安装盘pymongo失败,也需要手动下载pymongo安装文件,但是截至2017-03-09为止,最新的whl只支持python3.5,:地址:https://pypi.python.org/pypi/pymongo,如下图
因此需要进行源码安装pymongo,下载pymongo-3.4.0.tar.gz
解压pymongo-3.4.0.tar.gz,进入切换到完全解压后的目录,执行pip setup.py install进行安装。