charles+安卓模拟器采集豆果美食app

已于 2022-07-15 18:01:55 修改
阅读量552 收藏 1
点赞数
文章标签： python
于 2022-07-13 21:10:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40700938/article/details/125772306
版权
本文介绍了如何利用Charles 4.6.1、Python和雷电模拟器进行安卓7.1.2环境下的App抓包，以豆果美食为例，通过Postern代理设置抓取API，分析详情页数据，并通过替换ID获取不同详情页信息。在抓包过程中发现数据随机性，适合做数据去重。最后提到了代码实现部分。
摘要由CSDN通过智能技术生成

准备的东西

charles4.6.1，python， pycharm ，雷电模拟器安卓7.1.2 ，豆果美食apk，Postern 代理(没有这个无法在安卓7以上的app中 抓包)

分析api

打开charles，打开模拟器,打开postern代理，打开'豆-果'美食app程序，url过滤规则'douguo'

下面就是找包了， 找到之后，重发几次,测试一下 ，有没有数据，确认有没有反爬

 

 发现没有什么问题，都有数据，而且 数据都是随机获取的，后续做一个去重就能保证数据的唯一性

分析详情页

    # url = "https://api.douguo.net/recipe/v2/detail/3201333"
    url = f"https://api.douguo.net/recipe/v2/detail/{item['id']}"
最低0.47元/天 解锁文章
艾诺Ainuo
关注
雷电模拟器安卓7以上+Charles抓包APP最新教程
云霄IT的博客
03-07 1万+
使用proxyDriod工具（上面资源包有），ip配置和主机一样，端口看Charles的Socks5端口设置。3、用Solid Explorer工具（上面资源包有），复制安装的证书文件（xxx.0）到系统证书安装目录。找到个人证书安装目录：根目录>data>misc>user>0>cacerts-added。打开系统证书安装目录：根目录>system>etc>security>cacerts。2、拖拽进雷电模拟器中安装证书，双击根据步骤安装，证书命名随便。②设置一下模拟器ip和电脑ip的访问权限，看下面。
安卓模拟器7.0以上charles 或者fiddler 抓包为 unknown
weixin_44112152的博客
08-01 2042
安卓模拟器7.0以上charles 或者fiddler 抓包为 unknown 这里以charles与逍遥模拟器为例 安装charles 打开后配置代理 代理->代理设置 启用透明http代理 代理->ssl代理 点添加,全给*就好 再安装证书 安装到受信任的根证书颁发机构 打开逍遥模拟器,在逍遥模拟器中下载个文件管理器 打开设置 ->WLAN -> 修改网络 代理设置为手动,端口使用之前http设置的8888 第一次配置完代理，需要在PC端进行允许操作，详见下图的Al
Python 爬取手机 豆果美食app存Mongodb
weixin_42544006的博客
02-21 2082
爬虫代码  import requests import time import json import queue from handle_mongo import mongo_info from handle_proxy import proxy import random # 导入线程池模块 from concurrent.futures import ThreadPoolExecuto...
爬虫笔记37：android控件ListView的讲解、fiddler的安装与使用、fiddler和模拟器的配合使用、案例（爬取豆果美食app）
微信公众号进阶的阿牛哥的博客
10-07 1232
一、android控件ListView的讲解（了解即可） ListView的用处：可以用来开发app 环境： 1 、安装jdk ：就可以使用java这门语言进行开发了。安装过程中提示jre是否要安装，不用安装：因为jdk里包含了jre。 2 、安装android studio （ec），需要专门单独学习这个开发工具的使用。（就是用这个开发app） 二、fiddler的安装与使用 1、fiddler是什么？ 是一个HTTP协议调试代理工具，简单来说就是一个抓包工具。 ​2、fiddler的优势 （1） 简单
美食数据接口API (豆果美食NodeJs版API)
路漫漫其修远兮，吾将上下而求索。
10-08 5770
灵感来自 以前刚开始学习前端，想写个小项目练练手，每次找数据接口都要花好大的力气。甚至能否找到数据接口决定了我的项目是否能够继续下去。 很多平台的数据免费试用请求100次左右后，就要求付费。 无奈学生党，花费不起。自己写后端，对于那个时候刚起步前端的我，是不太切合实际的，而且还要花费大量的精力和时间去学习后端，爬虫收集数据等。 这跟我想写个复杂的小项目，提升前端技术的初衷背道而驰。 适用者 初入前...
基于Charles数据采集自动化的一次实践
sinat_32501475的博客
10-31 951
数据采集，一般直接调用数据传输接口。当数据传输接口的调用过于复杂时，比如：请求参数多层或自定义加密等，这个时候不妨考虑基于第三方代理软件直接拦截传输的数据。
【Android取证篇】Android模拟器抓包配置教程
蘇小沐的电子数据取证博客
11-23 2168
Android模拟器详细抓包配置过程、解决模拟器无法上网等问题 安装好Android模拟器后，可能出现抓包抓不到、模拟器无法上网、证书过期等情况，该篇主要介绍模拟器的抓包配置过程，包含模拟器无法上网问题。—【suy】 文章目录Android模拟器详细抓包配置过程、解决模拟器无法上网等问题一、模拟器IP配置（一）确认电脑主机IP1、电脑主机IP查找命令：ipconfig2、从Fiddler查找电脑主机IP（二）配置模拟器IP1、模拟器设置2、模拟器与主机IP配置一致二、Fiddler证书安装（一）从fiddl
Charles + Postern 安卓模拟器抓包
平平无奇的博客
08-03 7649
android抓包工具配置
豆果美食爬虫代码.zip
03-08
"豆果美食爬虫代码.zip" 是一个包含有爬虫代码的压缩文件，主要用于抓取豆果美食应用程序（app）上的数据。爬虫是互联网数据挖掘的一种技术，通过自动化的方式遍历网站或app，获取所需信息。 【描述分析】 描述中的...
从0开发豆果美食小程序——listItem组件&列表
weixin_34393428的博客
08-03 372
效果图 数据分析 搜索后跳转到菜谱列表页面，搜索时搜索的是菜的名字，所以要用查询菜谱名的接口，如下图。 点击 API 测试工具可以看到参数说明。pn 表示从第几个数据开始返回，rn 表示一次返回多少个数据。如果 pn = 0，rn = 10；想要第一次请求返回的数据下标是 0～9，第二次请求返回的是 10～19，那么需要 pn 每请求...
charles3.11.5抓包工具
09-18
最简单的装包工具，无需证书就可以直接安装使用，使用时方便易操作
采集 APP 上数据的方法
Merissa_的博客
11-01 416
Charles 官方教程：https://www.charlesproxy.com/documentation/using-charles/ssl-certificates/其实，为什么说软件编程业很难？就是因为，各种各样的情况掺杂在一起，很难辨别，本来感觉是 pip 的问题，结果发现是抓包的网络问题。这是因为手机内部的安全机制所致，我们在安装证书的时候可以将证书只用于网络即可，下面是两种安装证书的方法。在抓包的时候，使用 Python 的 pip 工具进行安装包的时候，发现出现了类似。
用Charles抓取https接口数据
diba19990213的博客
12-22 186
由于我之前抓取的某APP接口全面换上了https接口,导致我在抓取过程中遇到了很大的困境 用Charles无法获取到内容,由于现在已经搞定了,无法展示当时的错误信息,我从网站找了一个类似的错误信息 首先点击https接口,Resquest和Response全部都是乱码,然后有类似于这样的提示: 当然我抓的不是这个,我从网上找的 想要解决这个问题需要几部 1.Charles设...
Charles抓取http请求详解
weixin_30687051的博客
03-22 6264
使用过Charles进行抓包，但一直也没有总结过，今天讲讲Charles如何进行抓包，修改请求，修改返回值。 一、Charles介绍 Charles是一款跨平台的抓包工具，windows，mac.linux下都可以使用，主有如下作用： 1、查看发出去的请求 2、定位问题，定位分析是server端的问题还是客户端的问题 3、帮助模拟一些服务端返回的异常情况 4、手机抓包，需要注意：...
Android笔记(二十八)：在雷电模拟器安卓7.0+上使用Charles抓包详细教程
ZBM来了
09-06 1万+
由于手头没有合适的真机，所有经常使用雷神模拟器来跑项目，模拟器也需要能够抓包看看接口返回的数据，以便自测调试。本文记录了如何在雷电模拟器安卓7.0+上使用Charles抓包，其他模拟器没试过。
fiddler+安卓雷电模拟器+解决无法抓包问题，看我就对了，一站式解决问题，告别到处搜文章
热门推荐
描述不清的男人
05-24 3万+
打开模拟器设置-打开WiFi菜单-修改wifi配置（有些模拟器有小笔头修改键，有些模拟器是鼠标长按会出现“修改网络”大同小异，可自行参照，核心就是修改连接wifi的手动代理，ip写本机，端口写8888 对饮fiddler软件里面的，如果端口占用在fiddler里面修改此处改成一致即可）最后点击保存！如果不移动安装好的证书，此处会出现不信任的证书，频繁弹出（可以看到组织单位是我们安装fiddler）。3.设置信任证书：使用adb命令，将安装好的证书挪到系统目录中。3.根证书安装：导出桌面安装证书。
雷电模拟器9.0+charles抓包
最新发布
qq_45444679的博客
01-18 4049
cmd打开 雷电模拟器安装目录 D:\leidian\LDPlayer9。重启模拟器和charles，就可以抓包了。
Python App 爬虫：某美食APP 菜谱爬取
ziazan的博客
05-02 2008
多线程爬取美食APP菜谱分类中的菜谱数据，并存到mongoDB。
测试必备工具之抓包神器 Charles 如何抓取 https 数据包？
2301_78276982的博客
07-25 3792
​ 之前我们发过一篇文章讲解了Charles抓包工具的基本使用，有需要的小伙伴可以去看上一篇文章。 之前文章讲的数据包主要是http协议，大家可以看到数据包并直接显示具体详细的内容： ​
Charles+xposed抓包APP
05-22
要使用Charles和Xposed来抓包一个APP，可以按照以下步骤进行操作： 1. 首先需要在安卓设备上安装Charles和Xposed框架。 2. 在Xposed Installer中安装JustTrustMe模块，这个模块可以让我们绕过SSL证书验证。 3. 打开Charles，在菜单栏中选择“Proxy” -> “Proxy Settings”，记录下Proxy和Port。 4. 在安卓设备的WiFi设置中，将代理设置为手动，将上一步记录下的Proxy和Port填入。 5. 打开Xposed Installer，在模块中勾选JustTrustMe并重启设备。 6. 打开需要抓包的APP，在Charles中会看到APP的请求和响应信息。 注意：抓包是一种违法行为，必须遵循法律法规。在进行抓包前，请确保你已取得了合法授权，并仅限于个人学习研究使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值