题记:
本人在写python爬虫脚本,遇到一些问题,需要导入Scrapy模块。过程有点复杂,故在此分享给大家,以免后续麻烦。
步骤:
在Windows平台上安装scrapy,直接采用pip install scrapy重来没有成功过,我安装的python为3.6.4版本。
首先scrapy的安装之前需要安装这个模块:wheel、lxml、Twisted、pywin32,最后在安装scrapy
(1) lxml这个库是用来做xpath提取的,这个库非常容易安装,直接在cmd窗口输入:pip3 intsall lxml
import lxml 没有报错,安装成功。
(2) 因为我们后面将不采用pip来安装而是直接安装.whl文件,所以这里应该安装一个wheel模块。你可以直接在cmd中输入pip install wheel,如果你是刚安装python,可能在安装的时候会报错,原因是pip的版本太低,故你需要在此步骤之前,更新一下pip,直接在cmd中输入:python -m pip install --upgrade pip。
import wheel 没有报错,安装成功。
(3) whl就是一种zip包格式,但是我们需要先安装wheel模块才能安装whl包。安装很简单,我们只需要在cmd中输入pip install wheel即可。这种情况是在刚刚安装好python而且从没有装过wheel模块的情形下。
(4) Twisted模块直接安装,肯定是会报错的,这边采用的是安装.whl文件,这边提供一个下载链接,或者如果和我的版本一样你可以直接在百度网盘里面下载,在这个辅助库网站中搜索Twisted模块,然后根据python版本下载版本对应版本。我是python 3.6.4 我选Twisted17.9.0cp36cp36mwin64.whl,下载下来后,我放在桌面,然后在桌面启动cmd,输入 pip install Twisted17.9.0cp36cp36mwin64.whl
https://www.lfd.uci.edu/~gohlke/pythonlibs/
链接:https://pan.baidu.com/s/1V0-TvARLdRu6NWhALds6KA
提取码:bhxh
import twisted 没有报错,安装成功。
(5) 这边还需要安装pywin32模块,我根据我的系统,我选择pywin32-220.win64-py3.6.exe下载,然后点击运行exe文件。
如果出现报错内容为:Python version 3.3 required, which was not found in the registry
大致意思:注册表没有对应的信息,可以使用以下方法解决。
这里提供一个注册脚本(我在网上看的):
说明:因为一开始我没有找到免费的该文件,我没有安装pywin32-220.win64-py3.6.exe,跳过此步,安装的Scrapy,也成功了。如果各位出现不成功的,那只能安装 pywin32-220.win64-py3.6.exe。可以在百度网盘下载:
链接:https://pan.baidu.com/s/1V0-TvARLdRu6NWhALds6KA
提取码:bhxh
import win32com 没有报错,安装成功。
(6) 在cmd中输入:pip3 install Scrapy-1.5.0-py2.py3-none-any.whl 或者 pip3 install scrapy。
若采用第一种方法安装,下载方式:
https://www.lfd.uci.edu/~gohlke/pythonlibs/
链接:https://pan.baidu.com/s/1V0-TvARLdRu6NWhALds6KA
提取码:bhxh
import scrapy 没有报错,安装成功。