Scrapy框架（四）常用的类概述

目录

Spider类分析

Request对象

 Response对象

案例

---

Spider类分析

成员变量和成员方法：

•  name：爬虫的名字
•  allowed_domins：域名限制
•  start_urls：开始URL
•  custom_settings: ⼀个字典 专属于本spider的配置 这个配置覆盖项⽬全局配置，配置需要在初始化前更新，定义类变量，可以更新请求头。

• start_requests(self):可以重新定义开始发送的请求。（翻页使用）

Request对象

• url:请求的⽹址
• callback:回调函数
•  method：请求⽅法 默认get
•  headers: 请求头
• body:请求主体
•  cookies: 携带记录的信息
•  meta:携带额外参数
•  priority:请求优先级
•  dont_filter: reqest不去重 设置True
•  errback:错误处理⽅法
•  flags: 请求的标志
•  cb_kwargs:回调⽅法的额外参数

基本使用

import scrapy
from my_scrapy.items import MyScrapyItem
from fake_useragent import UserAgent


class SpiderSpider(scrapy.Spider):
    # 爬虫名称
    name = 'spider'
    # 域名限制，允许爬取的范围
    # allowed_domains = ['https://quotes.toscrape.com/']

    base_url = 'https://quotes.toscrape.com/page/{}/'

    # 初始请求的页面
    start_urls = ['https://quotes.toscrape.com/']

    headers = [{'user-agent': UserAgent().random}]
    cookies = {'name': 'zqh'}

    def start_request(self):
        for page in range(1, 6):
            url = self.base_url.format(page)
            yield scrapy.Request(url=url, callback=self.parse, headers=self.headers, cookies=self.cookies)

    def parse(self, response):
        # text = response.text

        quotes = response.xpath('//div[@class="quote"]')
        for quote in quotes:
            # 旧方法 get()为新方法
            # text = quote.xpath('./span[@class = "text"]/text()').extract_first()

            # 实例化对象
            item = MyScrapyItem()

            # 利用xpth进行爬取
            text = quote.xpath('./span[@class = "text"]/text()').get()
            author = quote.xpath('.//small[@class="author"]/text()').get()
            Tags = quote.xpath('.//a[@class="tag"]/text()').getall()
            item['text'] = text
            item['author'] = author
            item['Tag'] = Tags

            # 迭代出去
            yield item

        # 简洁的拼接
        # yield from response.follow_all(response.css('.pager .next a::attr("href")'), callback=self.parse)

补充： POST 可以用 FormRequest 或者JsonRequest方法

 Response对象

Response对象是⻚源代码结果，但是注意是bytes类型的。url， 该⽅法处理后返回的是绝对url https://www.baidu.com + 3page/1/ = https://www.baidu.com /page/1/法，和直接构 造Request不同的是，该⽅法接受的url可以是相对url，不需要 ⼀定是绝对url。

• url
•  status:状态码
•  headers
• request:
•  body:Response Body 通常指的就是访问⽹⻚后得到的⽹
• certicate：通过代表⼀个SSL证书对象
•  ip_address：代表服务器地址
•  urljoin: 是对url的⼀个处理⽅法，可以传⼊当前⻚⾯的相对
•  follow/follow_all：是⼀个根据url来⽣成后续Request的⽅
•  text
•  encoding
•  selector
•  xpath()
• css()
•  json(): 2.2以后版本更新的⽅法 直接将text属性转为json对
• 象

腾讯招聘案例