系统:win10 ,64位
python版本:3.5.3 ,64位
pip版本:9.01 for python 3.5.3
1、首先确定已经安装好了python以及pip
2、安装scrapy的依赖项,
1)lxml(http://lxml.de/),lxml是python语言处理xml和html中功能最丰富且最简单好用的库
2)twisted(http://twistedmatrix.com/trac/),twisted是一个事件驱动的网络引擎
下载页面为:http://www.lfd.uci.edu/~gohlke/pythonlibs/。
下载之后在运行cmd,切换到下载的目录(用cd命令, 如果需要切换盘符(比如从c盘切换到d盘,则需要先通过命令D:切换到d盘之后再用cd命令)
运行命令:pip install lxml-3.8.0-cp35-cp35m-win_amd64.whl
:pip install Twisted-17.1.0-cp35-cp35m-win_amd64.whl
*期间pip会自动下载lxml的依赖项(比如:pyOpenSSL、six等,所以要保持联网)
3、用pip安装scrapy
3)运行cmd,输入命令:pip install scrapy
在此,scrapy就安装成功了。可以在cmd中输入scrapy查看。
附:虽然scrapy安装完成,但是在后面的爬取过程中,会报错:no module named win32api ,这是缺少pywin32模块。在https://sourceforge.net/projects/pywin32/files/中根据下面的说明下载本机系统及python对应的版本,我的是:pywin32-221.win-amd64-py3.5.exe。这个是exe文件,直接运行
如有错误及不准确之处,欢迎指正!