今天在写小米有品爬虫, 对某个商品进行抓包分析时发现post请求发送的不是form data, 而是 request payload, 所以请求页面时失败了
post请求中的form data
post请求中的request payload
错误的做法
错误的做法: 使用requests.post(url=url, data=data, headers=headers, verify=False)
发送post请求, 因为data是个字典, 而request payload接收json, 所以只需要将dict转换成json即可
正确的做法
正确的做法requests.post(url=url, data=json.dumps(data), headers=headers, verify=False)
form data和request payload的区别
-
如果请求的Content-Type设置为application/x-www-form-urlencoded,那么这个Post请求会被认为是Http Post表单请求,那么请求主体将以一个标准的键值对和&的querystring形式出现。这种方式是HTML表单的默认设置,所以在过去这种方式更加常见
-
其他形式的POST请求,是放到 Request payload 中(现在是为了方便阅读,使用了Json这样的数据格式),请求的Content-Type设置为application/json;charset=UTF-8或者不指定。