【Scrapy】Scrapy学习（一）——入门示例

    Scrapy是web爬取和信息提取的框架。Scrapy使用的基本流程：创建工程、定义提取条目、编写爬虫并提取信息、编写Pipeline存储提取的字段。
一. 创建工程
    转到程序工作空间，执行命令：
scrapy startproject tutorial
创建后的工程目录结构为
tutorial/
        scrapy.cfg    工程配置文件
        tutorial/    工程的Python模块
                __init__.py
                items.py
                pipelines.py
                settings.py
                spiders.py/    爬虫存放的位置
                        __init__.py
                        ……
二. 定义抓取条目
    抓取条目用于装载抓取的数据，它是由scrapy.Item来声明的，它的属性字段是由scrapy.Field来定义。具体使用如下
import scrapy
class DmozItem (scrapy.Item)
        title=scrapy.Field()
        link=scrapy.Field()
        des=scrapy.Field()
三. 编写爬虫，爬取信息
    爬虫是用户编写的从指定域中抓取信息的类。代码及其含义如下：
import scrapy
class DmozSpider(scrapy.Spider)
        name="dmoz"    爬虫的唯一标示
        domain=["dmoz.org"]
        start_urls=[     爬虫下载的起始页，其他子页从下载的页面中提取
                "http://www.dmoz.org/computer/.../books"
        ]
        
        def parse(self, response):
                filename=response.url.split("/")[-2]
                with open(filename, 'wb') as f:
                        f.write(response.body)
        爬取信息的语句：scrapy crawl dmoz，其中dmoz为爬虫的标示。
四. 提取字段
        从网页中提取字段的方法有多种，Scrapy使用一种基于xpath或css表达式的，称为Scrapy selectors的方法。selectors可以看作是文档结构的节点对象，所以初始化的selectors就是根节点或整个文档。
        selectors有四个基本的方法：
⑴. xpath()返回selectors列表，每个对象代表由xpath表达式作为参数选择的节点。
⑵. css()，css表达式作为参数。
⑶. extract()返回选择的字符串。
⑷. re()返回由正则表达式作为参数提取的字符串列表。
五. 存储提取的数据
        使用scrapy -o可以把抓取的结果保存到文件中，但在复杂的应用中，需要用到Item Pipeline，在创建工程时已创建了pipelines文件。