一篇文章教会你用Python抓取抖音app热点数据（附源码）

今天给大家分享一篇简单的安卓app数据分析及抓取方法。以抖音为例，我们想要抓取抖音的热点榜数据。

要知道，这个数据是没有网页版的，只能从手机端下手。

首先我们要安装charles抓包APP数据，它是一款收费的抓包修改工具，易上手，数据请求容易控制，修改简单，抓取数据的开始暂停方便等优势，网上也有汉化版，一路默认安装就ok了。

安装完成后要设置代理，依次点击代理——代理设置。

然后在手机端设置代理，如下图所示：

在保证手机和电脑在同一局域网的情况下，代理服务器主机名设为电脑的ip地址，端口设为8888。

最后在电脑端和手机端分别安装证书。

电脑端安装方法：依次点击帮助——ssl代理——安装charles root证书 ，按下图进行安装。

手机端安装方式：帮助——ssl代理——在移动设备或远程浏览器上安装charles root证书。

再在模拟器浏览器中输入chls.pro/ssl，会自动下载手机端证书

最后再手机端依次点击设置——安全——从SD卡安装。

为证书命名，点击确认就安装成功了。

打开charles，然后打开抖音app的热点榜界面，在charles很容易就找到了数据接口，一次就返回了50条数据，如下图所示。

它的url信息如下图所示。

此接口只能返回这一时刻的热点数据，要想返回新的数据，就要变换参数信息，但是App端的数据接口参数都比较复杂，这里我们不再深入分析。

为了解决这一问题，我们可以用appium定时模拟操控手机，然后用mitmproxy把数据拦截下来（关于appium、mitmproxy的简介与安装网上有很多教程，这里不再赘述）

Appium脚本如下图所示：

这个自动化测试脚本比较简单，主要是重复获取热点最新信息。

Mitmproxy脚本如图：

有4点需要注意的地方：

1.用mitmproxy抓包前，先把手机代理ip端口设置为8080，设置方法同上；

2.要想在此脚本运行外置函数，必须加上前两行，要不然会出错；

3.脚本中if url in flow.request.url为数据流判断条件，如果url在该数据流的url请求数据中，则判断该数据为抖音app热点数据；

4.最后在脚本所在路径运行以下程序：

最后再运行appium自动化测试脚本，就大功告成了。

如果需要本文的代码，请在文末领取，觉得不错，记得给个star噢~

关于Python学习指南

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！

👉Python所有方向的学习路线👈

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取）

👉Python学习视频600合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉Python70个实战练手案例&源码👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉Python大厂面试资料👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉Python副业兼职路线&方法👈

学好 Python 不论是就业还是做副业赚钱都不错，但要学会兼职接单还是要有一个学习规划。

👉 这份完整版的Python全套学习资料已经上传，朋友们如果需要可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

​