Scrapy 中的crawlspider

crawlspider的使用

• 常见爬虫 scrapy genspider -t crawl 爬虫名 allow_domain

• 指定start_url，对应的响应会进过rules提取url地址

• 完善rules，添加Rule Rule(LinkExtractor(allow=r'/web/site0/tab5240/info\d+\.htm'), callback='parse_item'),

• 注意点:

  • url地址不完整，crawlspider会自动补充完整之后在请求
  • parse函数不能定义，他有特殊的功能需要实现
  • callback：连接提取器提取出来的url地址对应的响应交给他处理
  • follow：连接提取器提取出来的url地址对应的响应是否继续被rules来过滤

案例

# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
import re


class CfSpider(CrawlSpider):
    name = 'cf'
    allowed_domains = ['circ.gov.cn']
    start_urls = ['http://hainan.circ.gov.cn/web/site18/tab3416/']

    #  定义提取url地址规则
    rules = (
        #  LinkExtractor连接提取器，提取url地址
        #  callback,提取出来的url地址的response会交给callback处理，callback可有可无，看需求决定
        #  follow，当前url的响应是否重新经过rules来提取url地址
        Rule(LinkExtractor(allow=r'/web/site18/tab3416/info\d+\.htm'), callback='parse_item'),
        Rule(LinkExtractor(allow=r'/web/site18/tab3416/module8943/page\d+\.htm'), follow=True),

    )

    # parse函数不见了，parse有特殊功能不能定义
    def parse_item(self, response):
        item = dict()
        item["title"] = re.findall("<!--TitleStart-->(.*?)<!--TitleEnd-->", response.body.decode())[0]
        item["publish_date"] = re.findall("发布时间：(20\d{2}-\d{2}-\d{2})", response.body.decode())[0]
        print(item)