爬虫
文章平均质量分 95
FollowYourHeart2015
所思,所想……
展开
-
ibox pc端数据爬取逆向总结
本文总结了针对ibox平台的PC端数据爬取的思路及方式。虽然最终并没有达到目标,但是通过对这么严格的网站的爬取,也有不少收获,特此做篇总结,在此抛砖引玉。爬取的目标是‘市场’这个tab页下每张图片的具体信息(图1),刷新几次页面,在devtools页面能看许多Ajax请求(图2),针对每个请求的request、response数据观察,初步断定目标请求为,因为该请求的出入参均为乱码,极有可能为关键数据,否则不至于这么隐蔽。至于究竟是什么宝藏,接着分析。针对第一步的请求,观察该对应的调用链,即网络面板下的启动原创 2022-07-12 20:56:30 · 4104 阅读 · 9 评论 -
【ibox app逆向之生成wtoken】
要实现对这款app数据的爬取,有个关键的环节,就是实现wtoken这个加密参数的生成,,而wtoken这个参数是由阿里云的WAF的防护模块控制的,具体实现放在so层,安全系数很高。逆向的思路有2个,一是通过反汇编so层,进而破解其生成逻辑,难度系数很大;二是黑盒调用so层逻辑,不管其加密逻辑如何复杂,黑盒调用即可;本文介绍的是第2种方案,采用AndServer RPC的方式实现,具体来说就是自己开发个app,只实现ibox中wtoken的生成逻辑,将该app安装在真机上,并且对外提供生成wtoken的htt原创 2022-06-09 22:58:06 · 2918 阅读 · 8 评论 -
Charles-抓包工具的使用
Charles是一个常用的HTTP/HTTPS抓包工具,这在抓取PC端、移动端APP、M端的web请求时非常实用,当然更多地用来抓取移动端APP中的web请求,因为PC端完全可以在浏览器F12来跟踪网页的请求。如果想抓取UDP/TCP请求,Charles这个工具并不适合,不过可以使用Wireshark这个网络协议分析工具,当然前提是需要对计算机网络有一定了解,否则看到网络请求一定会眼花缭乱,一...原创 2019-11-02 08:40:23 · 1351 阅读 · 0 评论