在Windows平台上安装scrapy,直接采用pip install scrapy重来没有成功过,今天刚装完系统,安装了python3.6.4,刚好没有装scrapy,我就把这个安装过程记录下来,分享一下。
首先scrapy的安装之前需要安装这个模块:wheel、lxml、Twisted、pywin32,最后在安装scrapy
lxml这个库是用来做xpath提取的,这个库非常容易安装,直接在cmd窗口输入:pip intsall lxml
lxml的安装
因为我们后面将不采用pip来安装而是直接安装.whl文件,所以这里应该安装一个wheel模块,这边你可以直接在cmd中输入pip install wheel,如果你是刚安装python,按可能在安装的时候会报错,原因是pip的版本太低,故你需要在此步骤之前,更新一下pip,直接在cmd中输入:python -m pip install --upgrade pip,
安装wheel
whl就是一种zip包格式,但是我们需要先安装wheel模块才能安装whl包。安装很简单,我们只需要在ide中输入pip install wheel即可。这种情况是在刚刚安装好python而且从没有装过wheel模块的情形下。
Twisted模块直接安装,肯定是会报错的,这边采用的是安装.whl文件,这边提供一个下载链接 在这个辅助库网站中搜索Twisted模块,然后根据python版本下载版本对应版本,我是python 3.6.4 我选Twisted17.9.0cp36cp36mwin32.whl,下载下来后,我放在桌面,然后在桌面启动cmd(按着shift键 右击鼠标 然后选择 在此处打开命令窗口),输入 pip install Twisted17.9.0cp36cp36mwin32.whl
Twisted下载
安装Twisted
这边还需要安装pywin32模块,提供下载链接 我根据我的系统,我选择pywin32-220.win32-py3.6.exe下载,然后点击运行exe文件,不出意外肯定会报错:
报错图
报错内容:Python version 3.3 required, which was not found in the registry
大致意思:注册表没有对应的信息
这里提供一个注册脚本:
注册脚本
在网盘中把这个文件下载下来,放在桌面,然后在桌面启动cmd(按着shift键 右击鼠标 然后选择 在此处打开命令窗口),然后在cmd中输入:
python 脚本名称.py ,然后就肯定成功了
注册
这时候安装pywin32,就没有问题了
pywin32安装成功
在 这个网站下载scrapy的whl文件;
scrapy下载
同样的方法,放在桌面,在桌面启动cmd,在cmd中输入:pip install Scrapy-1.5.0-py2.py3-none-any.whl
scrapy安装
打开cmd,输入scrapy,查看信息,有信息就肯定成功了
小白看文章各种实验,最好看了这章才知道的。其他大神安装一笔带过,搞到反复安装错误。最后才知道要安装whl还要安装其他库。为啥大神安装都是一笔带过。折腾了好久。