crawlspider的使用
-
常见爬虫 scrapy genspider -t crawl 爬虫名 allow_domain
-
指定start_url,对应的响应会进过rules提取url地址
-
完善rules,添加Rule
Rule(LinkExtractor(allow=r'/web/site0/tab5240/info\d+\.htm'), callback='parse_item'),
-
注意点:
- url地址不完整,crawlspider会自动补充完整之后在请求
- parse函数不能定义,他有特殊的功能需要实现
- callback:连接提取器提取出来的url地址对应的响应交给他处理
- follow:连接提取器提取出来的url地址对应的响应是否继续被rules来过滤
案例
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
import re
class CfSpider(CrawlSpider):
name = 'cf'
allowed_domains = ['circ.gov.cn']
start_urls = ['http://hainan.circ.gov.cn/web/site18/tab3416/']
# 定义提取url地址规则
rules = (
# LinkExtractor连接提取器,提取url地址
# callback,提取出来的url地址的response会交给callback处理,callback可有可无,看需求决定
# follow,当前url的响应是否重新经过rules来提取url地址
Rule(LinkExtractor(allow=r'/web/site18/tab3416/info\d+\.htm'), callback='parse_item'),
Rule(LinkExtractor(allow=r'/web/site18/tab3416/module8943/page\d+\.htm'), follow=True),
)
# parse函数不见了,parse有特殊功能不能定义
def parse_item(self, response):
item = dict()
item["title"] = re.findall("<!--TitleStart-->(.*?)<!--TitleEnd-->", response.body.decode())[0]
item["publish_date"] = re.findall("发布时间:(20\d{2}-\d{2}-\d{2})", response.body.decode())[0]
print(item)