Python爬虫5.3 — scrapy框架spider[Request和Response]模块的使用

综述

本系列文档用于对Python爬虫技术的学习进行简单的教程讲解，巩固自己技术知识的同时，万一一不小心又正好对你有用那就更好了。
Python 版本是3.7.4

我们在前面学习reuqests库的时候是如何进行翻页请求的？首先找到下一页地址，然后再使用requests.get(next_url)进行请求获取。那么我们在Scrapy框架中如何对下页进行构造请求的呢？本篇讲解如何构造请求模块。

Request对象

在第一篇入门文章中我们已经在爬取糗百实例中实现了下一页请求获得的功能在爬虫中增加下面代码即可：

    # 获取下一页地址
    next_url = response.xpath('//ul[@class="pagination"]/li[last()]/a/@href').get()
    if not next_url:
        # 没有下一页地址结束爬虫
        return
    else:
        # 将下一页请求返回给调度器
        yield scrapy.Request(self.base_url + next_url, callback=self.parse)

scrapy.Request()函数讲解：

scrapy.Request(url, callback=None, method='GET', headers=None, body=None, cookies=None, meta=None, encoding='utf-8', priority=0, dont_filter=False, errback=None, flags=None, cb_kwargs=None)

Request对象再我们写爬虫，爬取一页的数据徐娅重新发送一个请求的时候调用，这个类需要传递一些参数，其中比较常用的参数有：

• url : 这个request对象发送请求的url。
• callback : 在下载器下载完成相应的数据后执行的回调函数。
• method ： 请求的方法，默认为GET方法，可以设置为其他方法。
• headers : 请求头，对于一些固定的设置放在setting.py中指定就可以了；对于那些非固定的，可以在发送请求的时候指定。
• meta : 比较常用，用于不同的请求之间传递数据用的。
• encoding : 编码，默认为utf-8，使用默认的就可以了。
• dont_filter : 表示不由调度器过滤，让scrapy的去重不会过滤当前url，可以执行多次重复的请求。
• errback : 请求失败在发生错误的时候执行的回调函数。
• 其他的参数就不再介绍。

Response对象

Response对象一般是有Scrapy给你自动构建的，因此开发者不需要关心如何创建Response对象，而是如何使用它。Response对象有很多属性，可以用来提取数据的，主要有以下属性：

1. meta : 从其他请求传过来的meta属性，可以用来保持多个请求之间的数据链接。
2. encoding : 返回当前字符串编码和解码格式。
3. text : 将返回来的数据作为urlcode字符串返回。
4. body : 将返回来的数据作为bytes字符串返回。
5. xpath : xpath解析器。
6. css ： css选择器。

发送POST请求

有时候我们想要在请求数据的时候发送post请求，那么这时候需要使用Request的子类FormRequest来实现。如果想要在爬虫一开始的时候就发送POST请求，那么需要在爬虫类中重写start_request(self)方法，并且不再调用start_urls里的url。

模拟登陆

模拟登陆人人网

import scrapy


class RenrenSpider(scrapy.Spider):
    name = 'renren'
    allowed_domains = ['renren.com']
    start_urls = ['http://renren.com/']

    def start_requests(self):
        url = 'http://www.renren.com/PLogin.do'
        data = {
            'email': '1883****357',
            'password': '********'
        }
        request = scrapy.FormRequest(url=url, formdata=data, callback=self.parse_page)
        yield request

    @staticmethod
    def parse_page(self, response):
        with open('renren.html', 'w', encoding='utf-8') as fp:
            fp.write(response.text)

1. 如果想要发送post请求，那么推荐使用scrapy.FormRequest方法，可以方便的指定表单数据。
2. 如果想在爬虫一开始的时候就发送post请求，那么应该重写start_requests方法。在这个方法中，发送post请求。

其他博文链接

• Python爬虫1.1 — urllib基础用法教程
• Python爬虫1.2 — urllib高级用法教程
• Python爬虫1.3 — requests基础用法教程
• Python爬虫1.4 — requests高级用法教程
• Python爬虫2.1 — BeautifulSoup用法教程
• Python爬虫2.2 — xpath用法教程
• Python爬虫3.1 — json用法教程
• Python爬虫3.2 — csv用法教程
• Python爬虫3.3 — txt用法教程
• Python爬虫4.1 — threading(多线程)用法教程
• Python爬虫4.2 — ajax(动态网页数据抓取)用法教程
• Python爬虫4.3 — selenium基础用法教程
• Python爬虫4.4 — selenium高级用法教程
• Python爬虫4.5 — tesseract(图片验证码识别)用法教程
• Python爬虫5.1 — scrapy框架简单入门
• Python爬虫5.2 — scrapy框架pipeline模块的使用