一、说明
安装Scrapy,需要先安装各种依赖库,因为这是一个庞大的框架,需要很多底层,如果不知道有什么,先不用管,先把主要的装好再说。
二、安装Twisted
这个第三方库pip无法直接安装,我们需要下载该库后离线安装。可去https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted中下载(注意:一定要下载对,与自己的python版本以及电脑对应)
如:Twisted-20.3.0-cp38-cp38-win_amd64.whl对应的为6
位电脑的python3.8,20.3.0位版本号,越高越好。
离线安装教程:
win+R,输入cmd进入命令行窗口。进入自己下载的离线库所在的文件夹下,如我将Twisted下载到了“F:\zhuomian\python离线库”这个文件夹下,进入这个文件夹后输入"pip install Twisted-20.3.0-cp38-cp38-win_amd64.whl"
(我知道的可能还需要安装wheel,lxml,当然还有爬虫需要的基础库等等,这些都可通过pip安装)
安装Scrapy
在命令行窗口输入pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy。(若出现报错,根据错误看看自己哪些依赖库没有安装即可)。