Windows 环境下安装 Scrapy

Windows 环境下安装 Scrapy

最近正在学习 Scrapy ，尽管我们工作环境环境是 Linux，安装和配置起来都比较方便，但是学习环境中大部分都是 Windows 系统，安装 Scrapy 的过程很繁琐，所以将我安装Scrapy 的整个过程记录下来，希望可以帮助到正在学习的小伙伴们。
先列一下我的主要环境：

• Windows 10
• Python 3.7.1
• Scrapy 1.5

前置工作

安装Python

首先肯定是要官网下载 Python 的安装包安装 Python，然后配置好环境变量，确保 Python 可以正常使用。这个就很简单了，没什么好说的。

切换安装源

因为国内网络环境的问题，使用 pip 从默认的安装源安装依赖和模块时容易超时中断下载，导致安装失败，所以我们先要将默认的安装源切换为国内的镜像，以提升安装的成功率。国内镜像主要有：

清华：https://pypi.tuna.tsinghua.edu.cn/simple
阿里云：http://mirrors.aliyun.com/pypi/simple/
中国科技大学：https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学：http://pypi.hustunique.com/
山东理工大学：http://pypi.sdutlinux.org/
豆瓣：http://pypi.douban.com/simple/

具体步骤为：
在Users/your user name/目录下新建一个文件夹pip，然后在该文件夹下新建一个pip.ini文件：

在文件中输入以下内容并保存：

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

意思就是指定一个全局的安装源，从上面的列表挑一个就好。如果成功，当我们在下载模块的时候出现该安装的日志信息：

安装 Scrapy 依赖模块

接下来我们需要安装Scrapy的相关依赖模块：wheel、lxml、Twisted、pywin32。

安装lxml

这个库这个库非常容易安装，直接在cmd窗口输入：pip intsall lxml。
如果出现提升pip版本过低的异常先按照提示输入 python -m pip install --upgrade pip 升级一下pip，然后再安装；

安装wheel模块

直接输入命令 pip install wheel；

安装Twisted模块

这个模块直接安装的时候会有问题，所以我们采用安装.whl文件的方式进行安装。
我们先通过 >这个网站< 使用快捷键 Ctrl+F 搜索 Twisted 关键字找到自己 Python 对应的版本，我的 Python3.7 对应的是 Twisted‑18.9.0‑cp37‑cp37m‑win_amd64.whl，点击下载，然后切换到文件所在目录，然后输入 pip install Twisted‑18.9.0‑cp37‑cp37m‑win_amd64.whl 进行安装；

安装pywin32模块

我们去 >这里< 找到对应的版本并下载

然后切换到文件所在目录输入 pip install pywin32-224-cp37-cp37m-win_amd64.whl 进行安装:

安装 Scrapy

好了，至此准备工作都已经完成，接下来开始安装 Scrapy。首先我们从 >这里< 下载对应的文件 Scrapy-1.5.1-py2.py3-none-any.whl，然后切换到文件所在目录输入 pip install Scrapy-1.5.1-py2.py3-none-any.whl 进行安装

至此安装已经完成，接下来我们可以输入 scrapy 查看信息:

如果出现了这些信息那么恭喜你安装成功了！

Anaconda

最后，其实我们可以通过另外一种更加简单的方式来安装 Scrapy，那就是直接安装anaconda，但是会安装许多我们不一定能用上的依赖和库。

Anaconda指的是一个开源的 Python 发行版本，其包含了 conda、Python 等180多个科学包及其依赖项。其中就包括了 Scrapy，我们可以从> 官网< 了解关于它的更多信息，可以进入 >网站子页< 下载安装该软件包。

但是学习阶段还是自己手动安装比较好。

end.