python提交post请求payload webkit_Python爬虫处理奇葩的请求参数payload

引言

偶然的发现某网站,采用的是post请求,然后打开f12调试查看:

它提交的参数并不是我们熟悉的formdata类型,而是payload,这种是怎么回事呢,先了解下什么是payload

Request Payload

我们都知道,前端与后端交互,一般有几种模式,且通过字段Content-Type区分

Content-Type:

application/x-www-form-urlencoded

application/json

multipart/form-data

写过后端接口的朋友对这个应该不陌生

写过前端的朋友,看这个,你应该也不陌生

application/x-www-form-urlencoded

这就是默认的模式,也就是我们平时写的请求参数是字典格式,然后在发送请求时会把字典的键值转为key1=value1&key2=value2...等等的

application/json

这个看名字就知道,就是json格式,也就是我们遇到的那种ajax异步请求的,带的参数就是字典的样子,只是被转成了字符串

multipart/form-data

这种很少见,它也是上传文件需要用的模式,这个前端的朋友应该更了解一点,如果传递的不是文件的话,这种模式就是本篇文章要说的RequestPayload类型

Payload有哪些形式提现

第一种

这种我见过的最多的就是下面这种:

{"token":"","pn":20,"rn":10,"sdt":"","edt":"","wd":"","inc_wd":"","exc_wd":"","fields":"title","cnum":"001;002;003;004;005;006;007;008;009;010","sort":"{\"showdate\":\"0\"}","ssort":"title","cl":200,"terminal":"","condition":[{"fieldName":"categorynum","isLike":true,"likeType":2,"equal":"001001"}],"time":null,"highlights":"title","statistics":null,"unionCondition":null,"accuracy":"100","noParticiple":"0","searchRange":null,"isBusiness":1}

这个你别看着简单,注意里面有两个参数,null,false,true,当你用json提交的话,是无法正常返回值的,因为什么,Python里,没有null和false的关键词,只有None和False,这个我暂且对这种命名为编程语言语法隔离(我自己取的啊,很随意)

这种怎么办,把null改为None,false改为False,true改为True,然后在发送请求的时候把参数用json.dumps()一下转为字符串,在提交请求的时候,None会自动变成null,False和True也相同,这样就和所需请求格式符合,就可以正常返回值

第二种

url是https://xxxx/TrueLoreAjax/TrueLore.Web.WebUI.AjaxHelper,TrueLore.Web.WebUI.ashx

["TrueLore.Web.WebUI.WebAjaxService","GetPageXMXX",[45,15,1,130,false,"XXBT","","FBQSSJ DESC"],null,null]1584152836329

这种,就非常奇葩了,这也是文章开头就说了下的格式

你乍一看,它是个列表,尾部看长度大胆猜测是个时间戳,你把时间戳删掉然后用列表去请求,

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3738.0 Safari/537.36 Edg/75.0.107.0'

}

url = '' #保密

data = ["TrueLore.Web.WebUI.WebAjaxService","GetPageXMXX",[45,15,1,130,false,"XXBT","","FBQSSJ DESC"]

req = requests.post(url, headers=headers, data=data, verify=False)

res = req.content.decode('utf-8')

print(res)

一运行,当场懵逼,我第一次遇到这个的时候也是这样,我还没运行我就抱着忐忑的心态,因为我就预感不行,参数怎么能是列表形式呢,运行的结果肯定是不行的,得不到结果

怎么办呢?

我想了下,在遇到最多的ajax时都可以是json字符串,json本质上就是个字符串,那么也就是说,请求参数其实可以是字符串的,列表不行,我就直接转为字符串看看

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3738.0 Safari/537.36 Edg/75.0.107.0'

}

url ='' # 保密

data = ["TrueLore.Web.WebUI.WebAjaxService","GetPageXMXX",[45,15,1,130,false,"XXBT","","FBQSSJ DESC"],null,null]

req = requests.post(url, headers=headers, data=str(data), verify=False)

res = req.content.decode('utf-8')

print(res)

运行发现还是不行,事后我才发现,其实我已经离成功很近了,我又去研究这种到底是咋回事,全网搜有关TrueLore的资料,已经url是TrueLore.Web.WebUI.AjaxHelper,TrueLore.Web.WebUI.ashx相关的东西,找了半天,有了大概的了解后,我突然想起,我的请求头好像只有个UA,我把浏览器上的请求头全部带上看看,

发现他妈的居然就可以了,最后根据筛选发现,请求头必须得有Ajax-method': 'AjaxMethodFactory才行,最后得出如下结果:

headers = {

'Ajax-method': 'AjaxMethodFactory', # 这个很重要

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3738.0 Safari/537.36 Edg/75.0.107.0'

}

url = 'https://xxxxxx/TrueLoreAjax/TrueLore.Web.WebUI.AjaxHelper,TrueLore.Web.WebUI.ashx'

data = '["TrueLore.Web.WebUI.WebAjaxService","GetPageXMXX",[45,15,1,130,false,"XXBT","","FBQSSJ DESC"],null,null]'

req = requests.post(url, headers=headers, data=data, verify=False)

res = req.content.decode('utf-8')

print(res)

运行结果:

成功,ojbk

2020-3-20更新

如上,返回的结果格式很奇怪,外层是一个列表,内层里的数据,类似字典,eval一下看看,如下:

没办法,所有的key都没有带上引号,并不被识别为字符串,而是被当变量处理

怎么办? 用正则表达式的替换

还是报错了,但是格式有了,发现报错原因是如下,时间格式不对

做如下处理即可:

代码:

null =None

true=True

false=False

headers={'Ajax-method': 'AjaxMethodFactory','User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3738.0 Safari/537.36 Edg/75.0.107.0'}

url= 'http://xxxx.com/TrueLoreAjax/TrueLore.Web.WebUI.AjaxHelper,TrueLore.Web.WebUI.ashx'data= '["TrueLore.Web.WebUI.WebAjaxService","GetPageJYXXFB_JSGC",[15,15,2,270,"","",-1,-1,"-1",-1,"-1","XMBH","","XXKSSJ DESC"],null,null]'req= requests.post(url, headers=headers, data=data, verify=False)

res= req.content.decode('utf-8')

res= re.sub(r'(\w*?):', r'"\1":', res)

res= re.sub(r'"(\d{2})":"(\d{2})":(\d{2}\.\d{3})"', r'\1:\2:\3"', res)

res= re.sub(r'"(\d{2})":"(\d{2})":(\d{2})"', r'\1:\2:\3"', res)

data=eval(res)print(res)

如果还不行,那么就找到报错的字段,针对处理即可

payload还有没有其他的形式,后续遇到再补充

解决了就很简单,没解决就很焦灼,就会一直在想要怎么去拼凑出这种格式,其实,多想想,多查查,遇到问题自己解决,尽量别去问别人

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值