项目中需要用到python做爬虫,通过综合评估,选用了scrapy这个框架。在开发环境安装中直接用pip安装报错,记录下解决方法。
命令:pip install scrapy (如果没有报错,最简单直接安装成功;若报错,则继续往下)
报错的解决方法:
1、pip安装需要依赖 twisted,首先安装 twisted 。
下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下载的时候注意下版本,电脑64的选64位,32位选32为,然后就是python版本,cp36:表示python3.6版本,cp38:表示python3.8版本。
然后复制到项目目录下,用pip安装(注意以管理员打开命令行窗口,否则会报权限问题)
pip install Twisted-20.3.0-cp38-cp38-win_amd64.whl
2、安装完twisted后,重新安装scrapy
注意还是要以管理员打开cmd命令行,pip install scrapy
稍等一会,安装成功。完成。