【爬虫】二次解码和二次编码

1、在看到这个博主进行爬取ajax获取的数据时,获取ajax 请求时,请求时的参数会有url编码:
类似:keyword=%E7%BE%8E%E5%A5%B3
这里我知道是输入的关键字 美女

但是当我爬中国农民银行的数据时,也有类似的url编码,但是它是类似下图的筛选条件:
在这里插入图片描述
然后这里是中国农业银行的ajax请求:

http://ewealth.abchina.com/app/data/api/DataService/BoeProductOwnV2?i=1&s=15&o=0&w=%257C%257C%25E4%25BF%259D%25E8%25AF%2581%25E6%2594%25B6%25E7%259B%258A%257C%257C1%257C%257C%257C1%257C%257C0%257C%257C5

我需要的ajax参数有 :

i =1 ,s =15, o =0, w = “”,这里就可以看到w的编码了:

w= %257C%257C%25E4%25BF%259D%25E8%25AF%2581%25E6%2594%25B6%25E7%259B%258A%257C%257C1%257C%257C%257C1%257C%257C0%257C%257C5

我只知道我点了什么,但是不清楚w具体是什么,我直接把这一长串当参数时,会报下面的错误:
在这里插入图片描述
然后我用这个网站的urlDecode 解码 进行二次url 解码:
就是对第一次解码后得到的复制再进行解码:
第一次url解码:
在这里插入图片描述
第二次url解码:
在这里插入图片描述

这里我就得到了w = ‘||保证收益||1|||1||0||5’ ,再写入ajax参数就爬取成功了;

在这里插入图片描述

二次编码类似

如果是一次编码的话,在network 里的 XHR 点击ajax请求,可以看到 view URL encoded ,点击只会显示一次解码的结果,需要再进行解码才是需要的内容
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值