scrapy 框架body/formdata的使用

最新推荐文章于 2023-04-20 21:45:25 发布

Collections_sort

最新推荐文章于 2023-04-20 21:45:25 发布

阅读量1.2k

点赞数 1

分类专栏： Scrapy 文章标签： post python

本文链接：https://blog.csdn.net/Collections_sort/article/details/113438510

版权

本文介绍了Scrapy框架中FormRequest的formdata和body的使用，两者区别不大，主要在于formdata需传入dict且值不能为int，body需为str类型。文章通过实例讲解了如何在不同情况下选择使用formdata或body，并提供小技巧利用Fiddler Everywhere观察请求差别，帮助解决请求失败的问题。

摘要由CSDN通过智能技术生成

一、前言

你是否又遇到scrapy框架中FormRequests的参数选择？formdata还是body?
遇到下面这样的网页，你该如何选择参数导入呢？注意对比红色框框内的区别
for两个橘子
1. 示例网页1_河北省全国公共资源交易网：利用scrapy的FormRequest请求获取后续页面的内容，并传入参数：
1. 示例网页2_浙江省公共资源交易服务平台：利用scrapy的FormRequest请求获取后续页面的内容，并传入参数：

二、scrapy框架中FormRequest请求的formdata和body

两者的区别不大，主要是多尝试使用即可，具体如下：

1.formdata

scrapy源码中

class FormRequest(Request):
    valid_form_methods = ['GET', 'POST']

    def __init__(self, *args, **kwargs):
        formdata = kwargs.pop('formdata', None)
        if formdata and kwargs.get('method') is None:
            kwargs['method'] = 'POST'

        super(FormRequest, self).__init__(*args, **kwargs)

        if formdata:
            items = formdata.items() if isinstance(formdata, dict) else formdata
            querystr = _urlencode(items, self.encoding)
            if self.method == 'POST':
                self.headers.setdefault(b'Content-Type', b'application/x-www-form-urlencoded')
                self._set_body(querystr)
            else:
                self._set_url(self.url + ('&' if '?' in self.url else '?') + querystr)

其中有一行，items = formdata.items() if isinstance(formdata, dict) else formdata，要求的formdata为dict
这下我们知道了，使用formdata时要传入一个dict
dict的值传入时需要注意： dict的value，不能为int，例如3要转化为"3"
for一个橘子

yield scrapy.FormRequest(
                url=f"http://example.com",
                headers=self.fake_headers(jsessionid),
                callback=self.handle_response,
                formdata=self.fake_data({
   
		            "page": "123",
		            "TimeStr": "2000-01-01,2021-01-30",