python爬虫post请求payload参数

welcome to my blog

今天在写小米有品爬虫, 对某个商品进行抓包分析时发现post请求发送的不是form data, 而是 request payload, 所以请求页面时失败了

post请求中的form data

post请求中的request payload

错误的做法

错误的做法: 使用requests.post(url=url, data=data, headers=headers, verify=False)发送post请求, 因为data是个字典, 而request payload接收json, 所以只需要将dict转换成json即可

正确的做法

正确的做法requests.post(url=url, data=json.dumps(data), headers=headers, verify=False)

form data和request payload的区别

• 如果请求的Content-Type设置为application/x-www-form-urlencoded，那么这个Post请求会被认为是Http Post表单请求，那么请求主体将以一个标准的键值对和&的querystring形式出现。这种方式是HTML表单的默认设置，所以在过去这种方式更加常见

• 其他形式的POST请求，是放到 Request payload 中（现在是为了方便阅读，使用了Json这样的数据格式），请求的Content-Type设置为application/json;charset=UTF-8或者不指定。

详情可参考python爬虫如何POST request payload形式的请求