Python3.7网络爬虫入门笔记----安装Scrapy(Windows)

Scrapy是基于Twisted框架，用Python语言编写的跨平台开源网络爬虫框架。Scrapy的应用程序也是是用Python进行开发的，目前支持Python 2.7及Python3.4+版本。

在任意系统下都可以用pip安装Scrapy, 然而简单的在shell里（即cmd）用“pip install scrapy”会遇到很多问题导致安装失败，特别是在Windows系统上。因为一些最重要的拓展包不会被自动下载，需要预先下载并分别安装好。下面介绍Windows系统使用Python3.7安装Scrapy的过程：

1.升级pip

从官网https://www.python.org/下载Python2>=2.7.9或Python3>=3.4时都会自动下载pip不用另外下载，但是有时因为版本太低，需要输入如下指令更新pip才能安装scrapy:

python -m pip install --upgrade pip

【如果pip在刚开cmd时还是识别不到，应该到环境变量里系统变量的PATH添加pip的路径，即...Python37\Scripts】 

2.安装wheel

在cmd直接输入：

pip install wheel

测试wheel是否安装成功：

在cmd输入“wheel”, 成功则输出如下：

 3. 下载安装Lxml和Twisted

​在（Unofficial Windows Binaries of Python Extension Packages）下载对应版本的Lxml和Twisted扩展包：

【注意】 1. Python3.7就下载"cp37-cp37m"； 2. 使用32位电脑的要选择带“-win32”的一项

下载完成后，在cmd里cd进入两个文件所在的文件夹下，比如C:\Users\name\Downloads>

下面安装Lxml:

在cmd中输入

pip install C:\Users\name\Downloads\lxml-4.2.4-cp37-cp37m-win_amd64.whl

安装完成，或者有的电脑已经安装过的会显示“Requirement already satisfied:...”

接着安装Twisted：

在cmd中输入

pip install C:\Users\name\Downloads\Twisted-18.7.0-cp37-cp37m-win_amd64.whl

安装完成！

【注意】很多安装指导要下载安装pywin32 (下载点击这里) ，不过到目前为止，Python3.7已经可以安装Scrapy了，暂且跳过。

4. 安装Scrapy

最后在cmd输入：

pip install scrapy

安装成功！

来测试一下， 如果安装成功，在cmd输入“scrapy” 则输出

再到Python中看是否能成功导入Scrapy模块：

完成！