只说下思路吧,毕竟把加密代码公开对人家网站不好。如有权益问题请私信我,我立即删除。
题主需要爬美团外卖的公开销量做数据分析用,先说抓包问题,美团、点评系列app目前抓不到关键包,如商品列表、商品详情、评论等,是因为这些api走的是美团自己的长连通道,抓包软件根本抓不到关键包,什么全局代理、VPN转发流量我这试了也不行。抓包解决方案是对其通道函数进行hook,把长连通道全部改为HTTP通道,这样就能抓到所有包了,点评、美团(外卖)系都是这方案。不过抓包才是开头,里面有好几个加密参数还需要看,如下图是某外卖的
具体参数后面在继续分析,先记录个抓包....
下面说下具体参数:
utm_content:随机也没事,不知道干啥的。
waimai_sign:一个java层的rsa,加密内容如图:
uuid:设备指纹信息,单个用多了,设备会被封,或者出现假数据。
push_token: 不知道干啥的,随机也没影响。
union_id: uuid小写取后面多少位。
__skck: so层生成的固定值:8f5973b085446090f224af74e30e0181
__skua: user-agent进行MD5
__skcy: 流程如图,params为请求url参数,form_data为post的body,req_skcy是frida hook so层加密入口做的,直接破so等之后有时间了慢慢分析...
hook js代码:
siua:包含了很多设备信息,去除好像也没影响,有些接口去除会出假数据。
M-SHARK-TRACEID:不知道干啥的,去除好像也没影响。
快速开发frida hook so加密入库还是很好弄,测试了下50线程,1000个请求完全能满足自己项目需求。需要精进还是需要去分析so层,之后有空闲时间了在分析分析so,在做补充...