05--CrawlSpider的使用

CrawlSipder可以自动根据正则表达式提取页面中的url地址,更具相应的参数去到callback函数以及要不要在新提取到的url地址执行提取url地址的规则

创建CrawlSpider

scrapy genspider -t crawl 爬虫文件名 allowed_domains(限定域)

代码

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
import re
'''继承spider的crawlspider类'''
class PunishSpider(CrawlSpider):
    name = 'cf'
    allowed_domains = ['bxjg.circ.gov.cn']
    start_urls = ['http://bxjg.circ.gov.cn/web/site0/tab5240/module14430/page1.htm']
    '''
        可以定义提取url地址的规则
        LinkExtractor 连接提取器，提取url
        allow : 可以写入正则表达式
        callback: 提取出来的url地址的response交给callback处理
        follow: 表示当前的url地址的响应是否重新经过rules来提取url地址
    '''
    rules = (
        Rule(LinkExtractor(allow=r'/web/site0/tab5240/info\d+\.htm'), callback='parse_item'),
        Rule(LinkExtractor(allow=r'/web/site0/tab5240/module14430/page\d+\.htm'),follow=True),
    )
    '''与Spider类不同，CrawlSpider类中的parse函数有特殊功能，不能定义'''
    def parse_item(self, response):
        item = {}
        item['title'] = re.findall("<!--TitleStart-->(.*?)<!--TitleEnd-->",response.body.decode())[0]
        item['publish_date'] = re.findall("发布时间：(20\d{2}-\d{2}-\d{2})",response.body.decode())[0]
        print(item)