6.基本概念解释3-scrapy中的重要对象

Request

• 初始化参数
  class scrapy.http.Request(
  url[
  callback,
  method=’GET’,
  headers,
  body,
  cookies,
  meta,
  encoding=’utf-8’,
  priority=0,
  don’t_filter=False,
  errback
  ])
• 其他属性
  copy():返回原Request一样的Request
  replace():返回一个Request，但是可以修改原来Request的一些参数

• 实例
  1.生成Request的方法；
  2.通过Request传递数据的方法
  3.Resquest.meta特殊关键字的用法
  实例一：（常用的生成Request的方法）

      def parse_page1(self, response):
          return scrapy.Request("http://www.example.com/some_page.html",
                        callback=self.parse_page2)
      def parse_page2(self, response):
          self.logger.info("Visited %s", response.url)

  实例二：（展示两个不同的函数传递数据的方法和Resquest.meta特殊关键字的用法）

      def parse_page1(self, response): 
          item = MyItem()
          item['main_url'] = response.url
          request = scrapy.Request("http://www.example.com/some_page.html",
                           callback=self.parse_page2)
          request.meta['item'] = item
          return request
      def parse_page2(self, response):
          item = response.meta['item'] 
          return item

• 子类介绍

  • FormRequest(url[,formdata])
    用来实现登录功能

• 子类实例

Response

- 初始化参数(一般不会去手动实例化一个response)
    class Scrapy.http.Response(
        url[
        status=200,
        headers,
        body,
        flags
    ])
- 其他属性
    -urljoin:用于生成绝对连接
- 子类介绍
    - class scrapy.TextResponse(url[,encoding[,...]])
    - class scrapy.HtmlResponse(url[,...])
    - class scrapy.http.XmlResponse(url[,...])