今天做爬虫,又被payload的参数坑了一次,还是要记录下,否则下次还是容易忘。
如下图所示,在这个请求中,payload中有个参数在F12中有个‘str’=null的参数,在大家需要写的时候,如果真的在dict中也这么写,很容易会出现问题的。要不返回400,要不没有数据。
那么在这里详细的说下在scrapy中payload参数的构成方式。
首先要明确下:
1、在F12中虽然提示的是post请求,但因为不是参数为formdata,所以还是要用scrapy.Request,并不需要FormdataRequeat.
2、在构建headers的过程中,一定要添加‘Conten-Type’:‘application/json’,其他的根据自己的情况自行拼接
3、在request中,要使用method=“POST”,来明确这个请求类型为POST
4、将payload参数构建完成后,需要用json.dumps,把该参数变成json格式的数据
5、如果在F12中,看到某个参数的值为null,那么就需要大家自己测试下,这个需要的参数,到底值是null字符串,还是None.这个坑如果不在意,真的是每次都要掉里面一次,
好了,这次的小知识就记录到这。希望能帮助到大家。3Q
更新:
有时候payload参数也有可能给的类型是 text/plain
那么,在requests中,就需要你把看到的payload参数,写成字符串格式,中间用\n做连接。
比如这个网站:http://114.55.49.86/InfoPage/InfoList.aspx?SiteItem=13
接口为:http://114.55.49.86/ajax/Controls_InfoListControl,App_Web_skvsurkq.ashx?_method=getCurrentData&_session=rw
它的数据类型就是text/plain;charset=UTF-8,
所以,这就需要写成
好了,payload常见的json和text格式都有了。基本上就都OK了,如果有新发现,我会继续补充的。