scrapy使用

这篇入门教程将引导你完成如下任务：
创建一个新的Scrapy项目
定义提取的Item
写一个Spider用来爬行站点，并提取Items
写一个Item Pipeline用来存储提取出的Items

新建工程

在抓取之前，你需要新建一个Scrapy工程。进入一个你想用来保存代码的目录，然后执行：scrapy startproject 项目名

这个命令会在当前目录下创建一个新目录tutorial，它的结构如下：

G:\liuqin\workspace\12306\py12306>tree /f
G:.
│ scrapy.cfg
│
└─py12306
│ items.py
│ pipelines.py
│ settings.py
│ init.py
│
└─spiders
init.py

这些文件主要是：
scrapy.cfg: 项目配置文件
py12306/: 项目python模块, 呆会代码将从这里导入
py12306/items.py: 项目items文件
py12306/pipelines.py: 项目管道文件
py12306/settings.py: 项目配置文件
py12306/spiders: 放置spider的目录

http://www.cnblogs.com/txw1958/archive/2012/07/16/scrapy-tutorial.html