python——Scrapy模块,在Windows平台的安装

   题记: 

   本人在写python爬虫脚本,遇到一些问题,需要导入Scrapy模块。过程有点复杂,故在此分享给大家,以免后续麻烦。

   步骤:

   在Windows平台上安装scrapy,直接采用pip install scrapy重来没有成功过,我安装的python为3.6.4版本。

  首先scrapy的安装之前需要安装这个模块:wheel、lxml、Twisted、pywin32,最后在安装scrapy

  (1)  lxml这个库是用来做xpath提取的,这个库非常容易安装,直接在cmd窗口输入:pip3 intsall lxml

import  lxml  没有报错,安装成功。

  (2)  因为我们后面将不采用pip来安装而是直接安装.whl文件,所以这里应该安装一个wheel模块。你可以直接在cmd中输入pip install wheel,如果你是刚安装python,可能在安装的时候会报错,原因是pip的版本太低,故你需要在此步骤之前,更新一下pip,直接在cmd中输入:python -m pip install --upgrade pip。

import wheel  没有报错,安装成功。

  (3) whl就是一种zip包格式,但是我们需要先安装wheel模块才能安装whl包。安装很简单,我们只需要在cmd中输入pip install wheel即可。这种情况是在刚刚安装好python而且从没有装过wheel模块的情形下。

  (4)  Twisted模块直接安装,肯定是会报错的,这边采用的是安装.whl文件,这边提供一个下载链接,或者如果和我的版本一样你可以直接在百度网盘里面下载,在这个辅助库网站中搜索Twisted模块,然后根据python版本下载版本对应版本。我是python 3.6.4 我选Twisted17.9.0cp36cp36mwin64.whl,下载下来后,我放在桌面,然后在桌面启动cmd,输入 pip install Twisted17.9.0cp36cp36mwin64.whl

https://www.lfd.uci.edu/~gohlke/pythonlibs/

链接:https://pan.baidu.com/s/1V0-TvARLdRu6NWhALds6KA
提取码:bhxh

import twisted 没有报错,安装成功。

  (5) 这边还需要安装pywin32模块,我根据我的系统,我选择pywin32-220.win64-py3.6.exe下载,然后点击运行exe文件。

如果出现报错内容为:Python version 3.3 required, which was not found in the registry

大致意思:注册表没有对应的信息,可以使用以下方法解决。

这里提供一个注册脚本(我在网上看的):

https://ss1.baidu.com/6ONXsjip0QIZ8tyhnq/it/u=545139778,1993371921&fm=173&app=25&f=JPEG?w=640&h=421&s=BE9017CA9AA5B16C10E9C40F000070C3

说明:因为一开始我没有找到免费的该文件,我没有安装pywin32-220.win64-py3.6.exe,跳过此步,安装的Scrapy,也成功了。如果各位出现不成功的,那只能安装 pywin32-220.win64-py3.6.exe。可以在百度网盘下载:

链接:https://pan.baidu.com/s/1V0-TvARLdRu6NWhALds6KA
提取码:bhxh

import   win32com   没有报错,安装成功。

  (6)  在cmd中输入:pip3 install Scrapy-1.5.0-py2.py3-none-any.whl   或者 pip3 install  scrapy。

若采用第一种方法安装,下载方式:

https://www.lfd.uci.edu/~gohlke/pythonlibs/

链接:https://pan.baidu.com/s/1V0-TvARLdRu6NWhALds6KA
提取码:bhxh

import   scrapy   没有报错,安装成功。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值