scrapy的安装

系统:win10 ,64位

python版本:3.5.3 ,64位

pip版本:9.01 for python 3.5.3


1、首先确定已经安装好了python以及pip

2、安装scrapy的依赖项,

1)lxml(http://lxml.de/),lxml是python语言处理xml和html中功能最丰富且最简单好用的库

2)twisted(http://twistedmatrix.com/trac/),twisted是一个事件驱动的网络引擎

下载页面为:http://www.lfd.uci.edu/~gohlke/pythonlibs/

下载之后在运行cmd,切换到下载的目录(用cd命令, 如果需要切换盘符(比如从c盘切换到d盘,则需要先通过命令D:切换到d盘之后再用cd命令)

运行命令:pip install lxml-3.8.0-cp35-cp35m-win_amd64.whl

:pip install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

*期间pip会自动下载lxml的依赖项(比如:pyOpenSSL、six等,所以要保持联网)

3、用pip安装scrapy

3)运行cmd,输入命令:pip install scrapy

在此,scrapy就安装成功了。可以在cmd中输入scrapy查看。


附:虽然scrapy安装完成,但是在后面的爬取过程中,会报错:no module named win32api ,这是缺少pywin32模块。在https://sourceforge.net/projects/pywin32/files/中根据下面的说明下载本机系统及python对应的版本,我的是:pywin32-221.win-amd64-py3.5.exe。这个是exe文件,直接运行

如有错误及不准确之处,欢迎指正!


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值