python 移动端爬虫

本文介绍了Python在移动端爬虫的应用,重点讲解了Android的Uiautomator2库,包括其执行流程、如何通过adb工具进行设备交互,以及Python与U2的交互,如初始化ATX、控制APP等。此外,还提到了Fiddler的安装和配置,用于移动端的网络数据抓包。
摘要由CSDN通过智能技术生成

移动端爬虫

移动端前导知识

移动端背景

  • PC端 --> 移动端 --> 大数据 --> AI --> ???

移动端数据的作用

  1. 数据分析
  2. 用户画像 —— 参考价值高(精准投放)
  3. 商业竞争

Uiautomator介绍

  • 简介 —— google提供用来做Android自动化测试的一个Java库
  • 作用 —— 测试用户界面(称为view),基于Accessibility service(Android辅助功能)

Android四大组件

  • activity —— 单独的屏幕(窗口)
  • service —— 用于后台完成指定操作
  • 内容提供者
  • 广播
activity和控件的操作
  • activity作用 —— 可以显示View(窗口)
activity的控件
  • TextView —— 文字显示框
  • EditText —— 输入旷工
  • ImageView —— 图片显示框
  • Button —— 按钮
  • CheckBox —— 复选框
  • RadioButton —— 单选按钮

Uiautomator2(主要学习内容)

  • 对比Uiautomator优势:
    1. 编写逻辑用python语言
    2. Uiautomator控件识别工具weditor
    3. 使用简单
  • 安装:
    • pip install uiautomator2

U2的执行流程

  • 移动设备安装atx-agent(守护进程),atx-agent启动u2服务(默认7912端口)
  • pc端编写脚本(发送http请求到移动设备的server端)
  • 移动设备通过WiFi或USB接收到pc发来的http请求,执行指定的操作
adb简介
  • 简介 —— Android调试桥,通过电脑端和移动设备进行交互的一个工具
    • adb client —— adb命令窗口
    • adb server —— 后台程序
    • adbd —— Android设备的后台进程
  • 功能
    • 安装卸载apk文件
    • 移动设备和pc端之间的文件传输
    • 查看设备上的应用信息
adb的安装
  • pc端安装模拟器后自动安装adb
    • 安装夜神模拟器
    • 打开夜神多开器,添加设备(5.1.1版本)
    • 打开夜神多开器设置
      • 启动设置 —— 改为手机版
      • 显卡渲染模式
移动端Python爬虫实战指的是在移动设备上使用Python编写爬虫程序,并实际应用在移动应用程序中的过程。 移动端Python爬虫实战的步骤如下: 首先,我们需要在移动设备上安装Python的开发环境,可以选择在移动操作系统上安装Python IDE或者使用在线的Python编译器。 接下来,根据需求选择合适的移动应用程序平台,比如iOS或者Android。 然后,我们需要使用Python编写爬虫程序,通过相关的库或者框架实现数据抓取。可以利用Python中的requests库发送网络请求,获取目标网页内容,再使用BeautifulSoup等库对HTML进行解析,提取需要的数据。 在爬取数据之前,需要了解目标网站的数据结构和规则,并合理设置爬虫的规则,确保数据的准确性和稳定性,同时尽量避免对目标网站造成过大的压力。 接下来,我们可以使用Python的数据处理库,如Pandas或者NumPy,对爬取到的数据进行处理和分析,例如清洗、筛选、统计等。 最后,根据实际需要,将处理过的数据应用到移动应用程序中,可以通过API接口或者其他方式将数据导入到移动应用中,并进行展示和交互。 移动端Python爬虫实战的应用场景很广泛,比如可用于移动电商应用中的商品数据抓取,新闻类应用中的资讯数据抓取,社交媒体应用中的用户信息抓取等。 需要注意的是,在进行移动端Python爬虫实战时,要遵守相关的法律法规,尊重目标网站的规则,避免对网络系统造成不必要的干扰或伤害。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值