python提交post请求payload webkit_post请求中的payload解决办法

python爬虫处理POST request payload请求

最近在采集某网站的时候发现是通过post请求来请求数据的，使用的数据格式是request payload，这个和之前看到过的常见的POST请求不同(Form data)，这个时候在使用Form data的请求方式来提交时，就无法请求到真实数据了。

Http请求中Form data和request payload的区别：其实这两种都是ajax中常见的两种传参数的形式

Form data

get请求的时候我们通常直接在url中以key=value的形式

post请求，表单参数都是在请求体中的，也就是将key=value从url中剥离了出来

request payload

要是使用的是原声的ajax post请求的话，那么在chrome中的开发者模式下会看到单独的request payload中的参互展示出来

在请求的content-Type中是application/json;charset=UTF=8，而在请求表单的参数在request payload中

两者之间的区别

如果一个请求的content-Type被设置成application/x-www-form-urlencoded，那么这个Post请求会被认为是Http Post请求，那么请求的主体将会以一个标准的键值对和&的querystring形式出现，这种方式是HTML表单的默认设置，所以在过去这种方式更加常见

其他形式的POST请求，是放到request payload中(现在为了方便阅读，使用了json进行序列化)，所以请求的content-Type设置成了application/json;charset=UTF-8或者是不指定

python中使用requests模块来请求post payload模块

payloadData ={'initPage': 'false','pageNum': '1','pageSize': '20','supplierCateId': "-1",'queryType': "pro"}

payloadData['pageNum'] =str(jb)#请求头设置

payloadHeader ={'Host': 'a300010770.casmart.com.cn','Content-Type': 'application/json',

}

r= requests.post(postUrl, data=json.dumps(payloadData), headers=payloadHeader).text