爬虫中遇到POST请求中表单数据出现重复参数时的处理方式

最新推荐文章于 2024-04-19 16:34:39 发布

写Bug 的大潘

最新推荐文章于 2024-04-19 16:34:39 发布

阅读量1.3k

点赞数 1

分类专栏： Python 爬虫文章标签： python 爬虫

本文链接：https://blog.csdn.net/weixin_41822224/article/details/121424741

版权

Python 同时被 2 个专栏收录

41 篇文章 1 订阅

订阅专栏

爬虫

16 篇文章 1 订阅

订阅专栏

如下图（谷歌浏览器抓包的部分请求参数信息）form data中出现的参数 disclosureSubtype[] needFields[] ，出现了至少两次

在这里插入图片描述

那么爬虫中模拟请求时如何使用呢：
以下两种方式均已测试可用（使用的python测试）

格式一

data = [
  ('disclosureSubtype[]', '9503-1004'),
  ('disclosureSubtype[]', '9504-2106'),
  ('page', '0'),
  ('companyCd', ''),
  ('isNewThree', '1'),
  ('keyword', ''),
  ('xxfcbj[]', '2'),
  ('needFields[]', 'companyCd'),
  ('needFields[]', 'companyName'),
  ('needFields[]', 'disclosureTitle'),
  ('needFields[]', 'disclosurePostTitle'),
  ('needFields[]', 'destFilePath'),
  ('needFields[]', 'publishDate'),
  ('needFields[]', 'xxfcbj'),
  ('needFields[]', 'destFilePath'),
  ('needFields[]', 'fileExt'),
  ('needFields[]', 'xxzrlx'),
  ('sortfield', 'xxssdq'),
  ('sorttype', 'asc'),
]

格式二

data = {
    'disclosureSubtype[]': ['9503-1004', '9504-2106'],
    'page': '0',
    'companyCd': '',
    'isNewThree': '1',
    'keyword': '',
    'xxfcbj[]': '2',
    'needFields[]': ['companyCd', 'companyName', 'disclosureTitle', 'publishDate', 'destFilePath'],
    'sortfield': 'xxssdq',
    'sorttype': 'asc'
}