使用Appium抓取抖音粉丝信息

最新推荐文章于 2024-05-08 11:04:44 发布

进击的果冻

最新推荐文章于 2024-05-08 11:04:44 发布

阅读量6.5k

点赞数 12

分类专栏：爬虫文章标签： python android 爬虫 pycharm mongodb

本文链接：https://blog.csdn.net/weixin_44053047/article/details/106805784

版权

使用Appium抓取抖音粉丝信息

前言

前言

声明一下，本博客纯属学习研究，如若侵犯到您的利益，请联系我，我马上删除该博客。
邮箱：woyaochijelly@163.com
本文主要记录如何使用appium自动化工具实现抖音App模拟滑动，然后分析数据得到粉丝用户信息。

1. 环境的准备

夜神模拟器（Android 5.1.1）
filder
mitmproxy
python3.7.3
jdk1.8.0_251
Android Studio（Android SDK 5.1）
xposed（Android 5.1）
JustTrustMe

这里先说明一下，抖音有ssl验证，夜神模拟器安装xposed和JustTrustMe之后，才能正常抓包，不然打开抖音是没有网的。

2. 环境配置

除了python3.7.3和mitmproxy，其余的资源都在百度网盘中，自取，地址：https://pan.baidu.com/s/1ZtvZIQvQ8A6rp02HtAOudQ，提取码：4mu1。

2.1 filder配置

安装好filder后，打开filder，左上角Tools -> Options，设置如下：
在这里插入图片描述

点击Actions，选择Trust Root Certificate，然后全部选是，安装window端的证书

在这里插入图片描述
到这一步filder，PC端的算是配好了，然后关闭域防火墙，获取PC端的ip地址，方法如下：

然后打开夜神模拟器，进入wifi，配置代理：

然后打开网页进入192.168.1.19:8888，下载证书，

下载完成了，进入设置 -> 安全 -> 从SD卡安装，安装刚刚下载的证书，随便取名，
在这里插入图片描述
到处，filder就可以抓到夜神模拟器上的数据包了，而要抓抖音的包得安装xposed和JustTrustMe。

2.2 xposed和JustTrustMe的配置

在网盘中下好xposed和JustTrustMe的apk文件后，直接点夜神右侧的安装APK，找到这两个框架的apk文件，点击安装，这里有个先后顺序，先安装xposed，安装后夜神桌面有一个xposed install，打开，然后下载xposed，
在这里插入图片描述
下载后会显示Xposed框架89版已激活，然后安装JustTrustMe的apk，安装好后，在xposed install里面勾选JustTrustMe，

到这里就安装完成了，然后下载最新版的抖音，就可以用filder抓包了：

记下这个url的前半部分，等会有用的。

2.3 mitmproxy配置

首先，在PC端通过pip install mitmproxy安装mitmproxy模块，安装好后，继续通过cmd，输入mitmproxy，这样就会在系统盘的用户目录下的.mitmproxy文件夹下生成许多证书，点击mitmproxy-ca-cert.p12，选本地计算机，直接点下一步，设置密码的位置不用填，直接下一步，证书照下图放：
在这里插入图片描述
这样PC端的证书就配好了，然后配夜神的，将mitmproxy-ca-cert.pem直接拖到夜神模拟器中，还是按照上面安装filder夜神模拟器端的证书方法操作，安装证书，然后创建douyin_fans.py文件：

import json


def response(flow):
    if 'api3-normal-c-hl.amemv.com/aweme/v1/user/follower/list' in flow.request.url:
        for user in json.loads(flow.response.text)['followers']