python爬虫scrapy安装_[Python爬虫] scrapy爬虫系列 <一>.安装及入门介绍

前面介绍了很多Selenium基于自动测试的Python爬虫程序，主要利用它的xpath语句，通过分析网页DOM树结构进行爬取内容，同时可以结合Phantomjs模拟浏览器进行鼠标或键盘操作。但是，更为广泛使用的Python爬虫框架是——Scrapy爬虫。这是一篇在Windows系统下介绍 Scrapy爬虫安装及入门介绍的相关文章。

一. 安装过程

本文主要讲述Windows下的安装过程，首先我的Python是2.7.8版本。

主要通过Python的PIP语句进行安装：

pip install scrapy

然后，输入 pip install scrapy 命令进行安装。

安装成功后，通过cmd调用 scrapy 指令查看，表示安装成功。

如果过程中存在如下图所示错误"no module named win32api"，则需要下载安装win32，选择2.7.8版本。地址为：http://sourceforge.net/projects/pywin32/files/

此时，scrapy安装成功，可以进行第二步"第一个scrapy爬虫实现"了~

正如xifeijian大神所说：“作为Python爱好者，如果不知道easy_install或者pip中的任何一个的话，那么......”。easy_insall的作用和perl中的cpan，ruby中的gem类似，都提供了在线一键安装模块的傻瓜方便方式，而pip是easy_install的改进版，提供更好的提示信息，删除package等功能。老版本的python中只有easy_install，没有pip。常见的具体用法如下：

easy_install的用法：1) 安装一个包

$ easy_install$ easy_install"=="

2) 升级一个包

$ easy_install-U ">="pip的用法1) 安装一个包

$ pip install$ pip install==

2) 升级一个包 (如果不提供version号，升级到最新版本)

$ pip install--upgrade >=

3)删除一个包

$ pip uninstall

二. 第一个scrapy爬虫程序实现

官网介绍：

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way.

下面是参考官网在windows下实现的第一个scrapy爬虫程序：