android 动态数据抓取,mitmproxy抓取Keep热门动态-安卓APP抓包爬虫案例

最新推荐文章于 2024-05-02 00:13:50 发布

徐睿远

最新推荐文章于 2024-05-02 00:13:50 发布

阅读量1.1k

点赞数

文章标签： android 动态数据抓取

本文介绍了如何使用mitmproxy在Android设备上抓取Keep应用的HTTPS数据，特别是在高版本Android系统遇到的问题及解决方案。通过Python定制mitmproxy的输出，使得数据包展示更清晰。同时，文章提到了Charles作为替代工具，能方便地抓取并分析APP的数据接口，特别是热门动态的JSON格式数据。

摘要由CSDN通过智能技术生成

使用mitmproxy来抓取Keep首页热门动态。鳄鱼君也是费了一天的时间去测试，在这里需要提醒大家抓包不要使用Android系统超过7.0的手机，Android系统越高手机越安全，而我们的抓包很显然是不允许的，这就是为什么你在配置了手机证书之后仍不能抓取HTTPS数据的原因之一。

说一下我的经历，刚开始是使用oppoR15手机，Android 9.0，在安装证书之后大部分的HTTPS数据都抓不到，其中也包括今天准备要整理的Keep热门，显然Android的系统非常严格，虽然我们呢安装了证书，但还是不被APP认可，可能你在使用mitmproxy抓包的时候会出现很多红色字体：Cannot establish TLS with client (sni: dragate.dc.oppomobile.com): TlsExcept

ion(“SSL handshake error: Error([(‘SSL routines’, ‘ssl3_read_bytes’, ‘sslv3 aler

t certificate unknown’)]。这个在介绍mitmproxy的使用的时候有张图片上面很多的红色报错，我也没敢说这是什么意思，怎么解决。当时我是真不知道怎么解决的，现在知道了哈！

最后我借了一个手机朵唯Android 3.2的，在安装好证书之后完全可以抓取HTTPS的数据包。那么对于Android系统较高的，推荐更换Android 系统低于7.0版本的，手机降级不推荐，风险太大。第二种方式是Root手机把证书添加到系统证书中而不是用户证书，比较困难，所以自己解决。

Mitmproxy抓取Keep热门动态数据包

使用mitmproxy抓取keep的热门页面。我们可以启动mitmpro