ps:网上有许多关于scrapy安装的教程,但是都是比较片面的。自己安装的过程,也遇到十分多的麻烦。比如安装twitsed就十分的不方便,还有就是下载图片需要安装pillow库。基于这两个python第三库的安装来详细讲解。
scrapy及所有相关依赖库
首先安装方式是基于pip
命令行方式,最好设置好相关的镜像源。
pip install scrapy
相关依赖库
pip install twisted (需要离线安装)
lxml和pyopenssl(会在安装scrapy是自动下载)
pip install pywin32
pip install pillow (图片相关依赖)
安装顺序
首先是twisted需要离线安装,scrapy安装失败就是主要因为twisted的安装。可能会因为网络环境而导致安装失败。
twisted安装成功后就可以安装scrapy了
最后是pip安装pywin32与pillow
这样全部关于scrapy与相关依赖库就安装完毕了
安装twisted方法
离线安装包下载地址
建议使用谷歌浏览器,之前用的qq浏览器不支持下载。(大坑)