Python下scrapy框架的安装

我们会在爬虫的过程中运用到scrapy,今天就分享一下自己下载和运用scrapy的一些经验和心得

在刚开始接触scrapy时候，在网上查询了许多关于scrapy 的下载和安装的方法，受到了许多的启发，同时也帮助了自己解决了问题，总结了一些关于scrapy的下载和安装的经验

最简单的安装方法是在中断输入pip install scrapy

 这种方式不能成功的话，就换下面这一种方式

1、直接使用pip install scrapy安装不成功可以安装whl格式的包  首先下载scrapy的whl包

下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/

打开以后，在网页中以ctrl + f 的方式查找scrapy,并找到

Scrapy‑1.3.3‑py2.py3‑none‑any.whl

并且下载

2.安装whl格式包需要安装wheel库，可以直接使用pip install wheel安装wheel

 

3.在同样的网址

下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/

中通过相同的方式搜索找到twisted找到

Twisted‑17.1.0‑cp36‑cp36m‑win_amd64.whl

并下载

4.下载完成后使用cmd打开windows的命令行窗口，进入whl包所在的文件夹执行如下命令

pip install [whl]

Scrapy-1.3.3-py2.py3-none-any.whl包使用同样的方式安装，只是应该等到其所有依赖的包安装完成后才能进行安装，现在还不能安装

scrapy依赖lxml包，需要先安装lxml包

所有准备工作做完，安装scrapy包了，进入Scrapy-1.3.3-py2.py3-none-any.whl所在的目录

5.验证，在中端输入scrapy得到如下内容证明安装成功