windows环境下安装python爬虫scrapy框架

（1）安装scrapy发现的问题

安装命令：

pip install scrapy

报错：error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": https://visualstudio.microsoft.com/downloads/

ERROR: Command "'d:\python\python.exe' -u -c 'import setuptools, tokenize;__file__='"'"'C:\\Users\\ADMINI~1\\AppData\\Local\\Temp\\pip-install-w02j6i7v\\Twisted\\setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record 'C:\Users\ADMINI~1\AppData\Local\Temp\pip-record-op85wjqr\install-record.txt' --single-version-externally-managed --compile" failed with error code 1 in C:\Users\ADMINI~1\AppData\Local\Temp\pip-install-w02j6i7v\Twisted\

【原因：看到缺少vc++14.0和twisted】

如果继续直接安装最新版本Twisted。

下载链接：Twisted · PyPI

将压缩包随便丢个位置解压，我这里放python根目录下，解压出来文件夹为：Twisted-19.2.1

打开cmd命令窗口，进入Twisted-19.2.1文件夹，执行安装命令：

python setup.py install

继续报错：

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": https://visualstudio.microsoft.com/downloads/

所以要装vc++14.0，找这个也麻烦，装vs也麻烦。

下面提供绕过vc++机制方法：

那就是在组件库里先下载需要的组件，然后再安装。下载地址为：

组件库网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/

截图如下:

可以看到当前版本为19.2.1,cp37代表python3.7版本。

至于python为32位还是64位，在命令窗口直接执行：python，得到如下信息，一看就是32位

Python 3.7.3 (v3.7.3:ef4ec6ed12, Mar 25 2019, 21:26:53) [MSC v.1916 32 bit (Intel)] on win32

所以装  

• typed_ast‑1.4.0‑cp37‑cp37m‑win32.whl

点击直接下载，然后我复制到D盘根目录下，

执行命令先进入d盘根目录，然后安装：

（2）继续安装scrapy

上面直接安装Twisted后，直接执行命令 pip install scrapy，还是报错缺少vc++ 14.0

好吧，没办法，继续这个网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/  上下载scrapy来安装scrapy。

上面就搜到这一个版本，直接下载，放到D盘根目录，用pip安装：

然后发现还是缺少vc++14.0  ,废话少说，直接安装vc++14.0吧 ，

安装包下载地址：文件分享

安装完一切OK，正常pip安装吧