Scrapy安装

资料来源：Scrapy 0.25 文档

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

1，选择一个网站，定义你想抓取的数据

2，编写提取数据的Spider

3，执行spider，获取数据

4，查看提取到的数据

 

安装平台

一，win7 64

1，安装Python 2.7，然后将以下路径添加到PATH中:
C:\Python27\;C:\Python27\Scripts\;

2，运行win_add2path.py脚本，默认位置：

c:\python27\tools\scripts\win_add2path.py

3，安装pywin32，下载地址：http://sourceforge.net/projects/pywin32/，选择合适的版本，win32或者amd64

4，安装pip，在cmd中运行

python get-pip.py

5，安装Scrapy，cmd中运行

pip install Scrapy