爬虫学习之Scrapy构建

Scrapy构建方法

一、Scrapy简介

Scrapy是基于Python语言的一种快速抓取网页数据的工具，它提供了一种框架，方便我们在此框架上进行设计修改不同种类的爬虫来进行数据挖掘。

二、Scrapy构造过程

不像Windows操作系统上我们所熟悉的软件一样，Scrapy的构建过程并不是一蹴而就的。Scrapy的构造需要若干个小工具的支持，只有确保这几个小工具的安装到位，Scrapy才可以稳定的运行。本文章主要就Windows 7 32位系统上的构造方法进行介绍。其他操作系统系统类似。

1、下载安装Python

打开Python官网Windows下载页面:

https://www.python.org/downloads/windows/。Python官网上提供的版本众多，建议选择Python2.6、Python2.7系列。然后根据你的电脑操作位数进行下载安装，我选择的是Python2.7.10。安装完成后，将python的安装目录添加到系统变量中。具体步骤如下：我的电脑-属性-高级系统设置-高级-环境变量-系统变量里，将C:\Python27;C:\Python\Scripts;加入到环境变量。

如图：

 

检测Python是否安装成功：

在开始菜单—附件中打开命令提示符（cmd），输入Python，如果显示

则说明安装成功。Python版本不同、操作系统位数不同，下面下载的安装包不同。

2、下载安装lxml

打开网址https://pypi.python.org/pypi/lxml/3.4.4，下载相应安装包，建议下载如下安装包。

 

Python版本不同、操作系统位数不同，下载安装包不同。下载安装后，验证是否安装成功：打开命令提示符（cmd），输入Python，再输入import lxml若无变化，则说明lxml安装成功。

3、下载安装pyOpenSSL

打开网址https://pypi.python.org/pypi/pyOpenSSL/0.13，选择相应的版本进行下载：

 

下载安装完成后，验证是否安装成功。同上，只不过是输入import OpenSSL。

4、下载安装zope.interface

网址https://pypi.python.org/pypi/zope.interface/4.1.1，选择相应的版本进行下载：

 

下载安装完成后，验证是否安装成功。同上，只不过是输入import zope.interface。

5、下载安装pywin32

打开网址http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/，选择相应的安装包版本。

       

6、下载安装setuptools打开网址http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe打开后即会自动下载。下载安装完成后，验证是否安装成功。同上，只不过是输入import zope.interface。

7、下载安装Twisted

打开网址https://twistedmatrix.com/trac/，选择相应版本进行下载，这里选择下图版本：

 

8、安装Scrapy

打开命令提示符，输入easy_install Scrapy。则会自动安装。安装结束后，打开命令提示符，输入Scrapy则会出现以下界面。

 

这说明你的安装已经成功。

三、总结：

经过了这几个安装步骤，你的电脑上应该共有以下7个组件：

 

这是Scrapy必须的7个组件，拥有这七个组件你就完全可以轻松的抓取网页上的数据了，网上其他安装教程还安装了其他的组件，你可以根据需要再进行安装。