一篇文章教你用python逆向抓取App数据

最新推荐文章于 2025-11-12 09:48:27 发布
原创 最新推荐文章于 2025-11-12 09:48:27 发布 · 2.6k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #程序人生 #恰饭 #经验分享

本文介绍如何使用Python逆向抓取APP数据，包括设备和环境准备、抓包、脱壳反编译、Frida Hook等步骤。通过分析请求和响应过程，实现了加密参数的解密，从而获取数据。

今天继续给大伙分享一下 Python 爬虫的教程，这次主要涉及到的是关于某 APP 的逆向分析并抓取数据，关于 APP 的反爬会麻烦一些，比如 Android 端的代码写完一般会进行打包并混淆加密加固，所以除了抓包之外，还需要对 APP 进行查壳脱壳反编译等操作。

接下来由小编给大家演示一下，如何逆向抓取 APP 数据，给你参考一下思路：

所需设备和环境：

设备：安卓手机

抓包：fiddler+xposed+JustTrustme

查壳：ApkScan-PKID

脱壳：frida-DEXDump

反编译：jadx-gui

hook：frida

抓包

手机安装app，设置好代理，打开fiddler 先来抓个包，发现这个 app 做了证书验证，fiddler 开启之后 app提示连接不到服务器：

在这里插入图片描述

那就是 app 做了 SSL pinning证书验证，解决这种问题一般都是安装 xposed 框架，里面有一个JustTrustme 模块，它的原理就是hook，直接绕过证书验证类，安装方法大家百度吧。

之后再打开app，可以看到成功抓到了包：

最低0.47元/天 解锁文章
Python逆向入门的超全教程！听说你想走黑客？葵花宝典给你！
python_9988的博客
09-05 776
加载C库更简单的方法是使用如下几个预先创建的类实例。 ctypes.cdllctypes.oledllctypes.windllctypes.pydllctypes.pythonapi 上面的代码输出“Message is Hello World”。另外，ctypes还允许在Python中定义结构和联合等其它高级功能，详细介绍请参考https://docs.python.org/3.6/library/ctypes.html?highlight=ctypes#。最后，如果你的时间不是很紧张，并且...
Python 逆向抓取 APP 数据
Python学习Q群696455390
08-24 724
今天继续给大伙分享一下 Python 爬虫的教程，这次主要涉及到的是关于某 APP 的逆向分析并抓取数据，关于 APP 的反爬会麻烦一些，比如 Android 端的代码写完一般会进行打包并混淆加密加固，所以除了抓包之外，还需要对 APP 进行查壳脱壳反编译等操作。 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍
python逆向入门教程
01-01
1、开发环境 我们在Windows 10上开始python逆向之旅，首先开始搭建开发环境，python解释器使用最新的3.6.1，IDE使用PyCharm社区版2017.1.3，下载地址如下所示，下载完成后直接双击安装包安装即可，随后设置PyCharm的Project Interpreter为刚才安装的Python解释器就可以了。 【Python】https://www.python.org/downloads/ 【PyCharm】http://www.jetbrains.com/pycharm/download/#section=windows 2、ctypes 首先介绍一下ctypes，
【亲测免费】 基于Frida的脱壳工具frida-unpack使用教程
最新发布
gitblog_00459的博客
11-12 1761
`frida-unpack` 是一个基于 Frida 框架的脱壳工具，旨在帮助开发者从加固的应用中提取出原始的 DEX 文件。该项目通过 hook `libart.so` 中的 `OpenMemory` 方法，获取内存中 DEX 文件的地址和大小，从而实现脱壳操作。 ## 项目快速启动 ### 环境搭建 1. **安装 Frida**： ```bash pip install
python爬app_Python爬虫-抓取手机APP数据
weixin_39610594的博客
11-23 192
抓取超级课程表话题数据。#!/usr/local/bin/python2.7# -*- coding: utf8 -*-"""超级课程表话题抓取"""import urllib2from cookielib import CookieJarimport json''' 读Json数据 '''def fetch_data(json_data):data = json_data['data']time...
以某乎为实战案例，教你用Python爬取手机App数据
公众号：Python研究者
03-20 4992
1前言最近爬取的数据都是网页端，今天来教大家如何爬取手机端app数据（本文以ios苹果手机为例，其实安卓跟ios差不多）！本文将以『某乎』为实战案例，手把手教你从配置到代码一步一步的爬取A...
python爬取app、返回的是加密数据_Python 逆向抓取 APP 数据
weixin_39679370的博客
12-05 1898
今天继续给大伙分享一下 Python 爬虫的教程，这次主要涉及到的是关于某 APP 的逆向分析并抓取数据，关于 APP 的反爬会麻烦一些，比如 Android 端的代码写完一般会进行打包并混淆加密加固，所以除了抓包之外，还需要对 APP 进行查壳脱壳反编译等操作。接下来由「小帅b的朋友：Houser」 给大家演示一下，如何逆向抓取 APP 数据，给你参考一下思路：所需设备和环境：设备：安卓手机抓包...
Python 逆向抓取 APP 数据！
爬遍所有网站
08-26 892
今天继续给大伙分享一下 Python 爬虫的教程，这次主要涉及到的是关于某 APP 的逆向分析并抓取数据，关于 APP 的反爬会麻烦一些，比如 Android 端的代码写完一般会进行打包并混淆加密加固，所以除了抓包之外，还需要对 APP 进行查壳脱壳反编译等操作。 接下来由「小帅b的朋友：Houser」 给大家演示一下，如何逆向抓取 APP 数据，给你参考一下思路： 所需设备和环境： 设备：安卓手机 抓包： fiddler+xposed+JustTrustme 查壳：ApkScan-PKID
python逆向基础流程（纯小白教程）
这个博主不懒，但Ta什么也没写~（私信互关24小时必回）
04-25 4540
使用工具查看文件信息，发现是pyinsatller打包的exe文件，如果硬用ida分析成汇编或c语言根本摸清楚程序的逻辑，所以思路是反编译成py文件直接分析python代码。】文件夹，双击进入此文件夹，找到一个pyc文件（此处有两个文件，我们关注的是除struct.pyc外的另一个pyc文件，如下图红圈）（注：因为GitHub是国外网站，如果访问速度过慢请参考本篇解决->uncompyle6库下载命令->cmd窗口输入【来到上一张图所在的文件位置，打开cmd窗口。在此处再次打开cmd窗口，输入命令【
python逆向入门
zgwz123456的博客
02-02 3373
python逆向基础 一..python的运行机制 （1）、把原始代码编译成字节码 编译后的字节码是特定于Python的一种表现形式，它不是二进制的机器码，需要进一步编译才能被机器执行，这也是Python代码无法运行的像C/C++ 一样快的原因。如果Python进程在机器上拥有写入权限，那么它将把程序的字节码保存为一个以.pyc 为扩展名的文件，如果Python无法在机器上写入字节码，那么字节码将会在内存中生成并在程序结束时自动丢弃。在构建程序的时候最好给Python赋上在计算机上写的权限，这样只要源代码
Python-Python3爬虫实战JS加解密逆向教程
08-10
Python-Python3爬虫实战JS加解密逆向教程
python某漫画app逆向
qq_45075118的博客
03-29 4051
微漫画app逆向一工具的准备二级项目思路三级目录 一工具的准备 1.fiddler抓包工具 2.python环境，Java环境 3.微漫画app准备 4.java反编译工具 二级项目思路 豆瓣夹下载微漫画app 链接：[link](https://www.wandoujia.com/ps://www.wandoujia.com/). 三级目录 ...
抓取app视频文章记录
苏文星
09-14 4032
【前言】 最近被抓取快手和最右APP搞得焦头烂额，其中最困恼的就是他的sig值，做了加密导致无法直接修改参数进行请求。 但是在研究的过程中我也发现了一些好玩的，比如用模拟器抓取，用anyproxy代理+fiddler进行抓取。 【现记录fiddler抓取抓发代码：】 if (oSession.uriContains("tbapi.ixiaochuan.cn/index/recommend"
Python逆向基本操作步骤详解——以杭电新生赛hgame week2 reverse stream(python3.10逆向)为例
OrientalGlass的博客
01-16 5779
即: C:\Users\admin\AppData\Local\Programs\Python\Python310\Lib\site-packages\PyInstaller\utils\cliutils\archive_viewer.py。在文件夹内找到stream.pyc和struct.pyc文件,用winhex或者010editor打开,将struct文件的第一行(Magic head)复制到stream.pyc的最前面,保存更改。继续使用命令即可输出stream.pyc和struct.pyc文件。
python爬取数据
darkCloudss的博客
12-10 376
https://my.oschina.net/u/4082616/blog/3061708
Python爬虫：抓取手机APP的数据
chenxuan5849的博客
01-20 9140
1、抓取APP数据包 方法详细可以参考这篇博文：http://my.oschina.net/jhao104/blog/605963 得到超级课程表登录的地址：http://120.55.151.61/V2/StudentSkip/loginCheckV4.action ...
逆向-Python反编译保姆级教程
热门推荐
xianyu_yuan的博客
03-28 1万+
通过这次的学习，深入了解了python的反编译过程，学习到了wsl这个方便的功能，也简单学习了linux上的一些操作。Python 反编译：pycdc工具的使用-CSDN博客[Linux] 使用 Decompile++ (pycdc) 反組譯 pyc 檔案 | EPH 的程式日記[安利] WSL Linux 子系统，真香！完整实操 - 知乎。
Python爬取网站上面的数据很简单，但是如何爬取APP上面的数据呢
Python学习Q群696455390
06-11 663
前言 在我们在爬取手机APP上面的数据的时候，都会借助Fidder来爬取。今天就教大家如何爬取手机APP上面的数据。 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！ QQ群：1097524789 环境配置 1、Fidder的安装和配置 下载Fidder软件地址：https://w..
python爬虫抓取app
07-20
<think>我们正在处理一个关于使用Python爬虫抓取手机App数据的问题。用户希望得到教程指导。 根据系统指令，我们需要： 1. 使用中文回答 2. 行内数学表达式用$...$，独立公式用$$...$$ 3. 正确使用LaTeX语法（但本问题可能不涉及数学公式，所以可能不需要） 4. 生成相关问题 5. 在引用的段落末尾添加引用标识（注意：我们只能引用提供的三个引用内容，并且要自然添加） 提供的引用内容： 引用[1]：介绍了APP数据抓取的基本流程、工具和Python依赖。 引用[2]：提供了一个豆瓣网页数据抓取的示例，但用户需要的是APP数据抓取，所以这个引用可能不太相关，但我们可以参考其请求和解析的方法。 引用[3]：展示了一个APP接口请求的示例，其中包含了一些参数。 用户需求：使用Python编写爬虫来抓取手机App数据。 根据引用[1]，我们可以总结出抓取APP数据的一般步骤： 1. 安装并配置抓包环境（如Fiddler、Charles、Mitmproxy） 2. 抓取真实APP请求并分析接口 3. 提取必要的参数（如Headers、Token、Sign等） 4. 使用Python重构请求，实现自动化数据抓取 5. 存储结果（CSV、数据库、JSON等） 因此，我们的回答应该围绕这些步骤展开。 注意：由于用户要求的是教程，我们将按照步骤进行讲解，并尽可能提供代码示例。 另外，由于引用[3]提供了一个具体的请求参数示例，我们可以参考它来展示如何构造请求。 步骤详细说明： 第一步：环境与工具准备 - 模拟器：用于在电脑上运行手机APP（如夜神模拟器、雷电模拟器等） - 抓包工具：用于捕获APP发出的网络请求（如Charles、Fiddler、Mitmproxy） - 安装Python依赖：requests（用于发送HTTP请求）、mitmproxy（用于中间人攻击抓包，也可以用于脚本扩展）等 第二步：配置抓包环境 - 以Charles为例：安装Charles，设置代理（通常为电脑的IP和8888端口），然后在模拟器或手机中设置相同的代理。 第三步：抓取并分析APP请求 - 启动抓包工具，然后在APP中进行操作，抓包工具会记录所有的网络请求。 - 找到我们关心的数据请求，分析其请求方法（GET/POST）、URL、请求头、请求参数等。 第四步：提取必要参数 - 通常APP的接口会有一些验证参数，如Token、Sign（签名）等，这些需要从请求中提取并分析生成规则。 第五步：使用Python重构请求 - 使用requests库模拟请求，注意携带必要的请求头和参数。 第六步：存储数据 由于引用[2]是网页抓取的例子，我们可以参考其请求和解析的方式，但APP接口返回的通常是JSON数据，所以解析会更简单。 下面我们按照这些步骤来编写教程。</think>### Python爬虫抓取手机App数据教程 以下是使用Python抓取手机App数据的详细步骤，基于引用[1]的核心流程： #### 1. 环境准备 - **抓包工具**（用于捕获App网络请求）： - Charles（支持HTTPS代理）[^1] - Fiddler（轻量级工具） - Mitmproxy（支持Python脚本扩展）[^1] - **模拟器**（可选）： - 夜神模拟器/Nox - 雷电模拟器/LDPlayer - **Python库安装**： ```bash pip install requests mitmproxy rich prettytable ``` #### 2. 抓包分析接口 1. 配置抓包工具的代理（通常为`IP:8888`） 2. 在手机/模拟器设置中配置相同代理 3. 操作目标App，观察抓包工具捕获的请求 4. 定位数据接口（通常返回JSON格式）： ```http GET /api/data?timestamp=1625550000&sign=afe4c... HTTP/1.1 Host: app.example.com Authorization: Bearer xxxxx User-Agent: Dalvik/2.1.0 ``` #### 3. 提取关键参数（以引用[3]为例） ```python params = { 'timestamp': '1625550000', # 时间戳 'phoneBrand': 'Meizu', # 设备品牌 'platform': '1', # 平台标识 'sign': 'afe4c...' # 加密签名[^3] } headers = { 'Authorization': 'Bearer xxxxx', 'User-Agent': 'AppClient/7.2.1' } ``` #### 4. Python重构请求（示例代码） ```python import requests import json url = "https://app.example.com/api/data" params = { "timestamp": "获取动态时间戳", "sign": "计算签名值" # 需逆向分析签名算法 } headers = { "User-Agent": "Mozilla/5.0 (Linux; Android 10)", "Authorization": "Bearer token_value" } response = requests.get(url, params=params, headers=headers) if response.status_code == 200: data = response.json() print(json.dumps(data, indent=2, ensure_ascii=False)) ``` #### 5. 数据处理与存储 ```python # 存储到JSON文件 with open('app_data.json', 'w', encoding='utf-8') as f: json.dump(data, f) # 存储到CSV（示例） import csv with open('data.csv', 'w', newline='') as csvfile: writer = csv.DictWriter(csvfile, fieldnames=data[0].keys()) writer.writeheader() writer.writerows(data) ``` #### 关键注意事项 1. **动态参数处理**：多数App接口使用动态token和签名，需逆向分析生成逻辑 2. **反爬机制**： - 使用随机请求头（`fake_useragent`库） - 添加请求延迟（`time.sleep(random.uniform(1,3))`） 3. **HTTPS证书验证**：抓包时需安装抓包工具的根证书 4. **法律合规性**：确保遵守目标App的`robots.txt`和服务条款
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值