Python爬虫入门-小试CrawlSpider

首先，先转载一张原理图：

再贴一下官方文档的例子：

import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor

class MySpider(CrawlSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    rules = (
        # 提取匹配 'category.php' (但不匹配 'subsection.php') 的链接并跟进链接(没有callback意味着follow默认为True)
        Rule(LinkExtractor(allow=('category\.php', ), deny=('subsection\.php', ))),

        # 提取匹配 'item.php' 的链接并使用spider的parse_item方法进行分析
        Rule(LinkExtractor(allow=('item\.php', )), callback='parse_item'),
    )

    def parse_item(self, response):
        self.log('Hi, this is an item page! %s' % response.url)

        item = scrapy.Item()
        item['id'] = response.xpath('//td[@id="item_id"]/text()').re(r'ID: (\d+)')
        item['name'] = response.xpath('//td[@id="item_name"]/text()').extract()
        item['description'] = response.xpath('//td[@id="item_description"]/text()').extract()
        return item

再贴一下重要参数：

Rule:(
      link_extractor               #定义链接提取的规则
      callback=None                #回调函数(不可使用parse方法)
      cb_kwargs=None               #传递关键字参数给回调函数的字典
      follow=None                  #是否跟进,
      process_links=None           #过滤linkextractor列表，每次获取列表都会调用
      process_request=None         # 过滤request,每次提取request都会调用
)
[此处为转载]follow说明:指定了根据link_extractor规则从response提取的链接是否需要跟进，跟进的意思就是指让CrawlSpider对这个提取的链接进行处理，继续拿到该链接的Response，然后继续使用所有的rule去匹配和提取这个Response，然后再不断的做这些步骤。callback为空时，follow默认为true，否则就是false。


LinkExtractor：(
      allow=()              #满足括号中所有的正则表达式的那些值会被提取，如果为空，则全部匹配
      deny=()               #满足括号中所有的正则表达式的那些值一定不会被提取。优先于allow参数。
      allow_domains=()      #会被提取的链接的域名列表
      deny_domains=()       #一定不会被提取链接的域名列表
      restrict_xpath=()     #限制在哪个结构中提取URL
      tags=()               #根据标签名提取数据 
      attrs=()              #根据标签属性提取数据
      .
      .
      .
)

造轮子的是用豆瓣读书/所有热门标签,所需要的信息都能在原始的请求中得到：

我们所看到的这些标签都是在【div[class=”article”]】结构里面,再者这些标签的URL结构都是:【/tag/XX】:

据此可以构建：

Rule(LinkExtractor(allow('/tag/'),restrict_xpaths('//div[@class="article"]')),follow=True)

点击小说标签，进入到相关的页面，我们要获取所有的链接，由于有多页，所以就要实现一个翻页的操作，获得所有的链接：

通过审查元素，可以看出页码都是在【div[@class=”paginator”]】结构里面,再者这些页码的URL结构都是:【\?start=\d+\&type=】:

据此可以构建：

Rule(LinkExtractor(allow('\?start=\d+\&type='),restrict_xpaths('//div[@class="paginator"]')),follow=True)

最终，就可以进入到详情页面中提取我们想要的信息了，详情页都是在【ul[@class=”subject-list”]】结构里面,再者这些页码的URL结构都是:【/subject/\d+/$】:

Rule(LinkExtractor(allow=('/subject/\d+/$'),restrict_xpaths=('//ul[@class="subject-list"]')),callback='parse_item')

详情页感觉还是不好提取，我就提取了几个简单的，有兴趣的可以自己试试多提取点内容。

from scrapy.spider import CrawlSpider,Rule
from scrapy.linkextractors import LinkExtractor
from dbdushu.items import DbdushuItem


class DoubanSpider(CrawlSpider):
    Num=1
    name = 'douban'
    # allowed_domains = ['www.douban.com']
    start_urls = ['https://book.douban.com/tag/?view=type&icn=index-sorttags-all']
    rules=(
        Rule(LinkExtractor(allow=('/tag/'),restrict_xpaths=('//div[@class="article"]')),follow=True),
        Rule(LinkExtractor(allow=('\?start=\d+\&type='),restrict_xpaths=('//div[@class="paginator"]')),follow=True),
        Rule(LinkExtractor(allow=('/subject/\d+/$'),restrict_xpaths=('//ul[@class="subject-list"]')),callback='parse_item'),
    )

    def parse_item(self, response):
        print('==========正在处理:#%r =========='%self.Num)
        self.Num=self.Num+1
        item=DbdushuItem()
        item['link']=response.url
        item['title']=response.xpath('//*[@id="wrapper"]/h1/span/text()').extract_first().strip()
        if response.xpath('//*[@id="info"]/span[1]/a'):
            item['author']=''.join(response.xpath('//*[@id="info"]/span[1]/a/text()').extract()).strip()
        if response.xpath('//*[@id="info"]/a[1]'):
            item['author']=''.join(response.xpath('//*[@id="info"]/a[1]/text()').extract()).strip()
        item['score']=response.xpath('//*[@id="interest_sectl"]/div/div[2]/strong/text()').extract_first(default='No Found').strip()
        yield item

结果就保存在Mongodb，上次爬用手机号注册了个账号想怕电影评论，没几分钟就直接账号永久被封，实在是傻眼了。这个下载延迟刚开始设置了1.5s，爬了一会觉得太慢了，于是修改成了0.8s，过一会就要求输入验证码了，应该还是太快了，最后还是修改成了1.5s,心累：

一万多本了，不想爬了：