Python手机App数据抓取实战：抖音用户的抓取，阿里腾讯PDD等大厂Python面试真题

返回的127.0.0.1:52001就是设备名称 这个是模拟器的名称，使用真机会不同 （如果没有返回就关闭开发者模式重新打开USB调试多试几次）

4）appPackage、appActivity这俩个参数非常重要，它指定了我们自动化测试的app，这两个参数获取有点麻烦，下面详解如何获取

首先手机打开App，本文就是抖音了，然后电脑命令行输入 adb shell 进入交互界面 然后输入命令 dumpsys activity | grep mFocusedActivity

第一个就是包名，第二个就是activity名 我们记下来一会编写进去（activity名称前要跟着包名）

即 包名com.ss.android.ugc.aweme activity名com.ss.android.ugc.aweme.main.MainActivity

5）noReset unicodekeyboard resetkeyboard解释会在一会的程序中

然后点击右下方保存配置信息并start session 如果点击start session发现手机自动打开抖音时，就说明我们的配置信息写对了，就可以开始使用了

这些配置信息一会要在我们的python脚本中使用，所以一定要填写正确

内容分析

---

其实app自动化测试跟网页爬虫很相似，首先分析我们该怎么做

点开抖音这一步已经不用我们去做 然后我们需要依次点左上角放大镜按钮、点击搜索框输入抖音号、点击搜索、点击用户、点击进入主页、点击粉丝、向上滑动

我们该如何定位按钮以及输入信息呢？

这又得使用AndroidSDK中的工具了 这次使用 AndroidSDK\tools\monitor.bat 中的monitor 可能有的小伙伴会问 为什么不使用可以查看xpath的魔改版的uiautomatorviewer呢?这是因为我在测试的时候发现现在抖音加入了某种时钟，我们都知道uiautomatorviewer无法获取动态页面的数据，而我发现monitor有的界面却可以，所以使用monitor，下面开始

首先用鼠标点击左边画蓝色圈的地方获取当前手机界面数据，然后鼠标点击我们需要的控件，之后右边出现的就是我们需要的信息，我们可以通过resource-id查找指定数据

现在先来编写douyin_appium.py文件测试下能否自动打开抖音并点击左上方放大镜按钮

from appium import webdriver

#WebDriverWait用来加入时间判断，有时候控件元素需要过一段时间才会出现

from selenium.webdriver.support.ui import WebDriverWait

import time

#配置信息

option={

“platformName”: “Android”,

“platformVersion”: “4.4.2”,

“deviceName”: “127.0.0.1:52001”,

#自动化测试包名

“appPackage”: “com.ss.android.ugc.aweme”,

#自动化测试Activity

“appActivity”: “com.ss.android.ugc.aweme.main.MainActivity”,

#再次启动不需要再次安装

“noReset”: True,

#unicode键盘 我们可以输入中文

“unicodekeyboard”: True,

#操作之后还原回原先的输入法

“resetkeyboard”:True

}

#其中的4723就是appium服务启动时的端口号

driver = webdriver.Remote(“http://localhost:4723/wd/hub”,option)

#放大镜按钮

try:

#使用resource-id查找按钮

if WebDriverWait(driver,5).until(lambda x:x.find_element_by_id(‘com.ss.android.ugc.aweme:id/b3o’)):

#点击按钮

driver.find_element_by_id(‘com.ss.android.ugc.aweme:id/b3o’).click()

except:

pass

运行之前首先要开启 appium 服务端，即start server

然后运行python文件

好的我们发现已经可以自动的点击放大镜按钮了，那么接下来只需要继续编写文件即可以完成自动化操作了 代码如下

from appium import webdriver

#WebDriverWait用来加入时间判断，有时候控件元素需要过一段时间才会出现

from selenium.webdriver.support.ui import WebDriverWait

import time

#配置信息

option={

“platformName”: “Android”,

“platformVersion”: “4.4.2”,

“deviceName”: “127.0.0.1:52001”,

#自动化测试包名

“appPackage”: “com.ss.android.ugc.aweme”,

#自动化测试Activity

“appActivity”: “com.ss.android.ugc.aweme.main.MainActivity”,

#再次启动不需要再次安装

“noReset”: True,

#unicode键盘 我们可以输入中文

“unicodekeyboard”: True,

#操作之后还原回原先的输入法

“resetkeyboard”:True

}

#其中的4723就是appium服务启动时的端口号

driver = webdriver.Remote(“http://localhost:4723/wd/hub”,option)

#放大镜按钮

try:

#使用resource-id查找按钮

if WebDriverWait(driver,5).until(lambda x:x.find_element_by_id(‘com.ss.android.ugc.aweme:id/b3o’)):

#点击按钮

driver.find_element_by_id(‘com.ss.android.ugc.aweme:id/b3o’).click()

except:

pass

#得到窗口大小

def get_size():

x=driver.get_window_size()[‘width’]

y=driver.get_window_size()[‘height’]

return (x,y)

#搜索框

try:

定位搜索框

if WebDriverWait(driver,3).until(lambda x:x.find_element_by_id(‘com.ss.android.ugc.aweme:id/ad1’)):

#点击搜索框

driver.find_element_by_id(‘com.ss.android.ugc.aweme:id/ad1’).click()

#输入抖音号并点解搜索

driver.find_element_by_id(‘com.ss.android.ugc.aweme:id/ad1’).send_keys(“1307311292”)

driver.find_element_by_id(‘com.ss.android.ugc.aweme:id/dy8’).click()

#点击用户 注意写法 这个控件由于无法获取resource_id与xpath的值 所以只能通过text来查找

driver.find_element_by_android_uiautomator(“text(“用户”)”).click()

except:

pass

#点进去具体界面

try:

if WebDriverWait(driver,5).until(lambda x:x.find_element_by_id(‘com.ss.android.ugc.aweme:id/bck’)):

#进入用户信息界面

driver.find_element_by_id(‘com.ss.android.ugc.aweme:id/bck’).click()

time.sleep(2)

#点击粉丝数

driver.find_element_by_id(‘com.ss.android.ugc.aweme:id/akf’).click()

except:

pass

#得到屏幕尺寸

size = get_size()

#定义滑动

x1 = int(size[0]*0.5)

x2 = int(size[0]*0.7)

y1 = int(size[1]*0.9)

y2 = int(size[1]*0.2)

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

O等大厂，18年进入阿里一直到现在。**

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-tY6LS4JE-1711064148030)]