Window10/Linux 下安装 scrapy （twisted 安装失败的解决办法）

最新推荐文章于 2024-07-06 03:00:04 发布

「已注销」

最新推荐文章于 2024-07-06 03:00:04 发布

阅读量5.8k

点赞数 6

分类专栏： python

本文链接：https://blog.csdn.net/gulang03/article/details/82564402

版权

python 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

安装前的一些所谓的“废话”

Scrapy 是一个优秀的 Python 框架，相信很多初学者在安装 Scrapy 的时候会遇到一些坑(这些坑主要体现在 Windows 下的 twisted 安装)，本文就此做些记录。本文主要介绍过程主要是 window10 ， Linux 与 Window 的唯一差别在于 twisted 安装很省事，具体怎样省事，下面会提到。（当然通常情况下 Linux 下默认本身自带 python2.7 ，安装时注意指定使用特定版本的命令）

默认前提是你的电脑已经安装了 python3 环境（感觉在这就是废话）：没有的话自行百度安装。

注意：这里要注意的是，因为我们之后的安装都需要用到控制台（cmd）操作，但是默认情况下你安装的 python3 是在C盘，这里打开控制台就必须以管理员模式打开 cmd。普通模式安装的时候很大可能会因权限不足失败。（Linux 下的话在命令前面加上 sudo 即可）

开始前先升级一下：pip

pip install pip --upgrade

开始安装

安装资料当然最好最权威是官网资料啦：

https://docs.scrapy.org/en/latest/intro/install.

我们看到：

但是直接在控制台（管理员模式下的 cmd.exe）执行是会失败的，因为往下看会发现 scrapy 需要这些依赖库：

所以我们要执行以下命令来安装依赖：

pip install lxml
pip install w3lib  
pip install parsel 
pip install cryptography 
pip install pyOpenSSL
pip install twisted  # 该选项需要  Microsoft Visual C++ 14.0（当时是在 Windows 下的要求）

最后一条命令在执行的时候通常会因为你的电脑上没有安装 Microsoft Visual C++ 14.0，造成编译安装失败，解决方法呢，可以自行百度安装 Microsoft Visual C++ 14.0，但是这个不好找，微软官网我也看了一下，只有几个 GB 的全家桶。所以最后我选择了更简单的办法，到这里：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

PS1：这也是与 Linux 下唯一的差别，Linux 直接执行上面的几条命令就可以完成

PS2：之所以这样解决可以成功是因为，python 是可以基于 C/C++ 编写扩展库的，但是你编写了，就需要按要求使用指定的C/C++编译器，才能编译安装，下面使用的是已经编译好的 *.whl, 跳过了编译步骤，所以就不用安装 Microsoft Visual C++ 14.0