使用scrapy爬取stl容器的时间复杂度

    本篇博客是一个简单的scrapy应用教程，我们要用scrapy爬取 C++官网上(www.cplusplus.com/reference/stl)关于各个stl容器方法的时间复杂度文本内容，主要是find insert erase三个方法。

    首先明确一下scrapy这个爬虫框架的大概流程，主要组件有调度器scheduler，下载器downloader，蜘蛛spider，实体管道item pipeline和scrapy引擎等。整个流程简化一下包括以下步骤
1. 调度器存储一个要爬取网址的优先队列，它来决定下一次要爬取哪个网址
2. 下载器下载对应的网页，得到一个response对象
3. spider从这个response对象提取出有用信息，构建成事先定义好的item对象，交由pipeline进一步处理
4. 通常爬取不会一次结束，所以spider可能会生成request对象，即发出新的请求给调度器
5. 以上步骤会一直重复直到调度器没有网址调度或是异常退出为止。

1.创建工程

scrapy startproject TimeComplexity
cd TimeComplexity
scrapy genspider -t basic reference www.cplusplus.com

    startproject 创建工程， genspider 创建爬虫，参数 -t basic 意思是使用basic爬虫模板创建爬虫，reference 是爬虫名www.cplusplus.com 是限定爬取的域名。
    项目的工程目录如下所示：

    main.py是应用入口，运行命令”scrapy crawl reference”，即启动名为reference的spider
    reference.py是项目的主要代码，spider对response进行解析提取出数据以及发送新的request都是在这里进行。
    items.py定义了最后生成数据的结构。
    pipeline.py是对生成的item对象的处理。

2.分析

    我们要得到stl容器基本方法的时间复杂度，从页面上分析一下如何获取。

    似乎很简单，获得id为“complexity”section的文本内容即可。同时我们要注意到有些文本被<a> 包裹，比如“size”，所以要提取<section> 内的文本以及其中的 <a>内的文本。

    接下来分析如何进入这个页面，观察url，后缀都是stl_name/function_name 的形式，比如进入set分类set容器的find方法页面，那么url是 www.cplusplus.com/reference/stl/set/set/find 。所以关键是爬取容器名称。

    由于只有关联容器才有find insert erase方法，分析一下上图的网页，可以看到，我们要爬取的是Associative contaniners文本的兄弟节点中，class为links的dl标签下的超链接文本内容（先喘口气）。将爬取的字符串与url前缀拼接，再加上find insert erase路径，我们就可以进入之前分析的那个页面了。

3.善用xpath()

    接下来就是编写代码了。reference.py已经定义好了start_url和parse()方法。start_url就是我们初始爬取的网站，下载器会自动下载网页内容，生成response对象给parse()方法处理。我们要做到的主要是对response对象使用xpath()方法提取出有用信息。

start_urls = ['http://www.cplusplus.com/reference/stl/']
def parse(self, response):
        next_urls = response.xpath('//div[@id="I_content"]//b[contains(text(),"Associative")]//following-sibling::dl[@class="links"]//a/@href').extract()
        for next_url in next_urls:
            container_name=next_url.split('/')[2]
            find_url= "http://www.cplusplus.com"+next_url+"find/"
            yield Request(find_url,callback=self.parse_middle,meta={'path_type':'find_time','container_name':container_name})
            insert_url="http://www.cplusplus.com"+next_url+"insert/"
            yield Request(insert_url,callback=self.parse_middle,meta={'path_type':'insert_time','container_name':container_name})
            erase_url = "http://www.cplusplus.com" + next_url + "erase/"
            yield Request(erase_url, callback=self.parse_middle,meta={'path_type':'erase_time','container_name':container_name})

    使用xpath()需要注意/ 和 //的差别，我一开始就是误用了/ 而爬取不出任何数据。/
是选择当前节点的子节点而不包括子节点的后代节点， // 则包括，所以 / 写在开头就是从根节点开始寻找，根节点没有找到后面写啥都没用了。

    这篇博客列出了xpath() 的常用方法，https://www.cnblogs.com/MUMO/p/5732836.html 可以作为参考。这里我们用到了contains，follow-sibling等规则。只要善用xpath() 的规则，爬取一些简单的页面元素并不困难。

    当然，我们应清楚，xpath()提供的规则毕竟有限，有些情况下xpath()爬取特定的信息会很麻烦，这时候就需要用到更加强大更加灵活的正则表达式re()。由于本项目用不到正则表达式，所以暂时不做说明。

4.在requset和response之间传递参数

    parse() 在爬取到容器名称后，生成新的url去爬取，并调用方法parse_middle()进一步处理新爬取的网页。这就产生了一个问题，我们的find insert erase三个路径都是用parse_middle() 去处理的，那么 parse_middle()怎么知道路径参数呢？一个很简单的做法就是对 response.url 处理，获得路径名称。另一种做法就是定义request对象的meta属性，把要传递的参数放进meta里。parse_middle() 从response对象获得meta就获得了要传递的参数了。

    def parse_middle(self,response):
        result=response.xpath('//section[@id="complexity"]/text() | //section[@id="complexity"]/a/text()').extract()
        path_type=response.meta['path_type']
        container_name=response.meta['container_name']
        final_result=""
        for str in result:
            if str!='\n':
                final_result+=str
        item=ContainerItem()
        item['container_name']=container_name
        item[path_type]=final_result
        return item

5.item 与pipeline

    在parse_middle()最后我们就爬出的信息保存为item对象。item就是预先定义好的爬取信息结构，在items.py中我们可以这么写：

class ContainerItem(scrapy.Item):
    container_name=Field()
    find_time = Field()
    insert_time = Field()
    erase_time = Field()

    pipeline，顾名思义，就是对item进行流水线的处理，这里我要将最后生成的item存储到云服务器的redis数据库中，在pipeline.py中可以这么写：

class TimecomplexityPipeline(object):
    def __init__(self):
        self.client=redis.Redis(host='****',port=6379,password='****')
    def process_item(self, item, spider):
        if spider.name=='reference':
            if dict(item).has_key('find_time') :
                self.client.hset('container_time_complexity::'+item['container_name'],'find_time',item['find_time'])
            if dict(item).has_key('insert_time'):
                self.client.hset('container_time_complexity::' + item['container_name'], 'insert_time', item['insert_time'])
            if dict(item).has_key('erase_time'):
                self.client.hset('container_time_complexity::' + item['container_name'], 'erase_time', item['erase_time'])


        return item

6.源码

    完整的源码放在了github上：
https://github.com/Yuanpei-Wu/ContainerTimeComplexitySpider