Scrapy安装说明及如何避坑

Scrapy安装一般都会提示以下错误：Microsoft Visual C++ 14.0 is required

• 错误产生的原因，电脑没有安装C++库
• Scrapy安装需要安装一个 Twisted包，但是最新的 Twisted包已经不是.whl文件了，已经变成了变成了一个tar.bz2文件，
• 见下图pip安装过程
• pip安装时就可以知道你电脑python可以使用的最新的包的版本，找到对应版本下载即可
  
• 安装过程需要C++进行类似编码过程，但是安装Microsoft Visual有点大，不想安装，就去找Twisted的whl文件，
• 该网站（https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted）有最新的Twisted包，可以先试试看，我这里打开提示404错误
• 最终发现是浏览器的问题，我用的QQ浏览器打开，后面换成Google的Chrome浏览器打开，然后下载就直接下载了，我将几个安装包都下载打包了，已分享到百度网盘

解决方法1：下载whl包安装（成功）

Python包whl文件下载地址：
推荐一个whl包下载地址

• https://www.lfd.uci.edu/~gohlke/pythonlibs/

twisted的whl包下载地址

• https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

Python2 Python3的twisted我已经都下载放在网盘中，自己选择下载

• https://pan.baidu.com/s/1A1ofVLpXWmzJTgbN70euuw

• 下载到桌面后 pip安装即可

• 然后再pip安装Scrapy

• pip安装时就可以知道你电脑python可以使用的最新的包版本，找到对应版本下载即可
  

解决方法2：tar.gz或者tar.bz压缩包的安装方法（失败）

阿里云下载的twisted包的格式是tar.bz格式
http://mirrors.aliyun.com/pypi/simple/twisted/

下载后解压出来，然后打开CMD窗口，或者Anaconda Prompt窗口或者激活虚拟环境 CD命令切换到刚刚解压后的包所在的路径
然后执行以下命令： python setup.py install
该方法安装还是需要C++库，推荐上面直接安装whl包
解压包里面其实有个setup.py文件

解决方法3：Pycharm下直接进入虚拟环境设置，搜索所需的包安装

安装twisted还是失败，激活虚拟环境，pip安装已经下载的whl包，然后在安装是scrapy，成功
具体过程如下图：
第一步：激活虚拟环境

第二步：切换到桌面，我的包放在桌面，pip安装twisted的whl包，安装完成后执行pip install scrapy

推荐博文深入了解whl和tar的区别：

Python3 whl包、tar包、tar.gz包的区别（附Python whl包下载地址）
https://blog.csdn.net/u011318077/article/details/86661403

Python安装官方whl包和tar.gz包的方法
https://blog.csdn.net/u011318077/article/details/86661676