win10下scrapy的安装

转载自：http://blog.csdn.net/zjiang1994/article/details/52689144

写在前面

最近在学习爬虫，在熟悉了Python语言和BeautifulSoup4后打算下个爬虫框架试试。
没想到啊，这坑太深了。。。

看了看相关介绍后选择了Scrapy框架，然后兴高采烈的打开了控制台，

pip install Scrapy
1
这里写图片描述

坑出现了。。。。

运行报错

error: Unable to find vcvarsall.bat
1
开始上网查解决方法。。
看了大多数方法，基本上的解决方法就是下载版本对应的visual studio,但是也太大了。。。。。。而且网速看不下去啊。。。

最后花费了将近一天的时间，终于找到了解决方法。

使用wheel安装。

这个网站里边是编译好的各种库的
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

同时，推荐一篇我的Scrapy入门实例博客：

scrapy爬虫框架入门实例

希望可以帮到刚接触python和scrapy的同学。

安装方法

首先安装wheel

pip install wheel
1
安装完成后验证是否成功

wheel
1
安装成功是这样
这里写图片描述

然后去上边的网站下载Scrapy库，
进到网站=>搜索’Scrapy’=>下载

把下载的.whl文件放在一个容易寻找的地址（我放在了D:\）
然后在控制台进入该地址
在该地址下输入

pip install [whl]
1
注：[whl]表示你的.whl文件，一定要全名，XXXX.whl

然后，并没有结束。。。。。

安装过程还是有可能失败

可能会出现

Failed to build XXXX
1
之类的提示一闪而过（比如说我提示的 twisted），最后安装失败还是提示

error: Unable to find vcvarsall.bat
1
为什么会这样那，因为Scrapy框架基于Twisted

所以，要做的就是去网站下载Twisted之类的安装文件，先把它们装上，安装方法和上边的相同。

最后终于成功了。

PS D:\Python\WorkSpace> scrapy -h
Scrapy 1.4.0 - no active project

Usage:
scrapy [options] [args]

Available commands:
bench Run quick benchmark test
fetch Fetch a URL using the Scrapy downloader
genspider Generate new spider using pre-defined templates
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy

[ more ] More commands available when run from project directory