python安装scrapy框架

python 安装scrapy 爬虫框架

正常情况下直接 pip install scrapy即可安装成功

window下可能报错
Command “d:\python\python.exe -u -c “import setuptools, tokenize;file=‘C:\U
sers\ADMINI~1\AppData\Local\Temp\pip-install-hgx6anap\Twisted\setup.py’;f
=getattr(tokenize, ‘open’, open)(file);code=f.read().replace(’\r\n’, ‘\n’);f
.close();exec(compile(code, file, ‘exec’))” install --record C:\Users\ADMINI
~1\AppData\Local\Temp\pip-record-pcfszme8\install-record.txt --single-version-ex
ternally-managed --compile” failed with error code 1 in C:\Users\ADMINI~1\AppDat
a\Local\Temp\pip-install-hgx6anap\Twisted\

因为pip会自动安装需要Twisted，而这个库需要vasual c++ 14.0 。
解决方法一是下载安装vasual c++ 14.0
二是直接下载相应.whl文件.先安装twisted
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
找到对应自己系统及python版本的。whl文件下载后执行
pip install whl文件的路径如
pip install D:\python\Scripts\Twisted-18.9.0-cp36-cp36m-win_amd64.whl

然后执行 pip install scrapy即可

可能还缺少lxml库之类。
可直接pip install 安装对应的缺少库