2021-07-06

Python爬虫之Scrapy框架学习（一）——Scrapy下载安装

1、直接打开dos命令窗口，输入命令：pip install scrapy，这种方法多半会失败，各种报错，我们需要在安装scrapy之前手动下载安装Lxml、Twisted。
2、前往https://www.lfd.uci.edu/~gohlke/pythonlibs/，直接ctrl+F，查找lxml和twisted，下载对应的版本

我这里下载的是lxml-4.6.3-cp37-cp37m-win_adm64.whl，表示lxml的版本为4.6.3，对应的python版本为3.7-64bit。另一个Twisted-20.3.0-cp37-cp37m-win_amd64.whl也是对应的。

3、下载好之后，依次执行以下命令
pip install wheel
pip install lxml-4.6.3-cp37-cp37m-win_adm64.whl
pip install Twisted-20.3.0-cp37-cp37m-win_amd64.whl

4、接下来我就直接pip install scrapy，结果报了一大段错误，主要是
ERROR: Failed cleaning build dir for cryptography
ERROR: Failed building wheel for cryptography
error: can’t find Rust compiler
百度查了也没有得出明确的结论，就根据提示，先升级pip版本试一下，没想到把pip升级到最新版本之后，再pip install scrapy 就好了。

5、安装完成之后，输入scrapy，验证一下，如下图所示，就表示已经正确安装了。