2021年爬虫人员必须掌握的 App 抓包工具（一）：Charles

最新推荐文章于 2024-11-27 16:53:19 发布

Amo Xiang

最新推荐文章于 2024-11-27 16:53:19 发布

阅读量8.8k

点赞数 28

分类专栏： Python3入门与进阶文章标签： python app charles 爬虫

本文链接：https://blog.csdn.net/xw1680/article/details/112857776

版权

Python3入门与进阶专栏收录该内容

128 篇文章 30 订阅 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了爬虫人员如何使用Charles工具进行App抓包。从Charles的下载安装开始，详细讲解了SSL证书的安装，包括PC端和手机端，以及如何设置代理和配置网络，确保能捕获到App的网络请求。最后，文章总结了Charles在App抓包中的重要性。

摘要由CSDN通过智能技术生成

爬虫不仅仅只对 Web 页面的信息进行爬取，还可以爬取应用中存在的大量数据，例如移动端的 App。由于 App 中的数据都是通过异步的方式从后台服务器中获取的，类似于 Web 中的 Ajax 请求，所以在爬取数据前同样需要分析 App 用于获取数据的 URL。

由于 App 运行在手机或平板电脑中，在获取请求地址时无法像 Web 一样在 PC 端通过浏览器进行获取。所以就需要使用专业的抓包工具，实现 App 请求地址的抓取工作。本篇博文将介绍如何使用 Charles 抓包工具获取 App 中的请求地址。

一、Charles 工具的下载与安装

可以实现 App 抓包的工具有很多，例如， Charles、Fiddler、mitmproxy 等。不过从性能的角度来讲，Charles 的功能更加强大一些。Charles 抓包工具是收费软件，但可以免费试用 30 天。点击此处打开 Charles工具的官方下载页面，Charles 是一个跨平台网络抓包工具，支持 Windows、Mac 和 Linux 平台，读者可以根据自己的操作系统下载对应的版本即可。这里以 Windows 系统为例进行演示，如下图所示。