Scrapy学习总结(二)——安装(有些坑需要了解)

1.安装scrapy前提

1. scrapy依赖的一些包：

lxml：一种高效的XML和HTML解析器，
PARSEL：一个HTML / XML数据提取库，基于上面的lxml，
w3lib：一种处理URL和网页编码多功能辅助
twisted,：一个异步网络框架
cryptography and pyOpenSSL，处理各种网络级安全需求

2. 以上包需要的最低版本：

Twisted 14.0
lxml 3.4
pyOpenSSL 0.14
来自此处

2. 安装scrapy

3.(我遇到的)报错：Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools

4.解决办法如下

1. https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载下载twisted对应版本的whl文件
   
   2. 安装 pip install whl文件的完整路径名
   pip install F:\谷歌下载\Twisted-18.9.0-cp37-cp37m-win_amd64.whl
   3. pip install Scrapy即可成功