阿里 Mobile-Agent-v2：基于大模型的安卓鸿蒙自动化工具

最新推荐文章于 2024-09-07 20:36:39 发布
最新推荐文章于 2024-09-07 20:36:39 发布
阅读量452 收藏
点赞数 6
分类专栏： 三花AI 文章标签： android harmonyos 自动化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51674085/article/details/140118686
版权

与之前介绍的 DigiRL类似, Mobile-Agent-v2是一个支持安卓和鸿蒙系统的自动化工具，它使用视觉模型理解手机屏幕，并利用 ADB 来实现操作手机，你可以在本地运行，或者通过手机截图在线体验 Mobile-Agent-v2

从演示来看，可以跨不同 APP 使用，包括：

  • 查看未读消息并根据要求完成一系列操作
  • 在社交媒体上关注某人并评论
  • 日常导航、安装应用等基操
  • 小红书自动搜索和评论
  • 微信消息的理解和自动回复
三花AI
关注
专栏目录
鸿蒙OS开发实战：【自动化测试框架】使用指南
m0_62167422的博客
04-08 2130
为支撑HarmonyOS操作系统的自动化测试活动开展，我们提供了支持JS/TS语言的单元及UI测试框架，支持开发者针对应用接口进行单元测试，并且可基于UI操作进行UI自动化脚本的编写。本指南重点介绍自动化测试框架的主要功能，同时介绍编写单元/UI自动化测试脚本的方法以及执行过程。
Mobile-App-Dev-1-Assignment2：基于Kotlin的Android天气应用程序
02-14
这是一个基于Kotlin的Android天气应用程序。 特色功能 显示天气警告 显示25个气象站报告的最新状况 使用数据显示指定位置的天气预报 保存位置列表并从JSON文件加载位置列表 地图以查看和选择位置（如果需要，可以...
全新Mobile-Agent-v2发布，自动化手机操作助手全面升级！
我爱计算机视觉
06-07 301
关注公众号，发现CV技术之美Mobile-Agent 于今年年初发布，凭借强劲的自动化手机操作能力迅速在AI领域和手机制造商中引起广泛关注。短短五个月内，它已经在Github获得了2,000个Star。该系统采用纯视觉方案，通过视觉感知工具和操作工具完成智能体在手机上的操作，无需依赖任何系统级别的UI文件。得益于这种智能体中枢模型的强大，Mobile-Agent实现了即插即用，无需进行额外的训练和...
Mobile-Agent赛题分析和代码解读笔记（DataWhale AI夏令营）
极限突破者的博客
08-31 1696
你好，我是GISer Liu，一名热爱AI技术的GIS开发者，本文是DataWhale 2024 AI夏令营的最后一期——赛道，关于赛题分析和代码解读的学习文档总结；这边作者也会分享自己的思路；MobileAgent解析大模型智能体式LLM应用的未来，就如Andrej Karpathy大佬所云：如果一篇论文提出了不同的训练方法，我们内部的Slask上会嗤之以鼻，认为都是我们玩剩下的。但是当新的AI Agents论文出来的时候，我们会认真兴奋的讨论；AI Agent不仅会改变每个人与计算机交互方式。
【2024】Datawhale AI夏令营-从零上手Mobile Agent-Task2笔记
Mocode的博客
08-31 1452
本文介绍通义实验室最新的多模态手机智能体工作——Mobile-Agent。
探索多模态手机智能体的未来
ith321的博客
07-27 926
探索多模态手机智能体的未来
Mobile-Agent 使用教程
gitblog_00934的博客
09-03 326
Mobile-Agent 使用教程 MobileAgent项目地址:https://gitcode.com/gh_mirrors/mo/mobileagent 项目概述 Mobile-Agent 是一个强大的移动设备操作助手系列，旨在通过多代理协作实现有效的导航和自动化操作。该项目支持Android平台，并且随着版本迭代，已推出Mobile-Agent-v2、Mobile-Agent-v3以及跨...
Mobile-Agent-v2翻译
nopSled
06-27 154
移动设备操作任务正日益成为一种流行的多模态AI应用场景。目前的多模态大语言模型（MLLM）受限于训练数据，无法有效发挥操作助手的作用，而基于MLLM的Agent通过工具调用来增强能力，正逐渐应用于该场景。然而，——在现有工作的单Agent架构下难以有效解决。这是由于token序列过长以及文本图像数据格式交替限制了性能。为了有效解决这些导航挑战，我们提出了Mobile-Agent-v2，一种用于移动设备操作辅助的多Agent架构。该架构由三个Agent组成：规划Agent、决策Agent和反思Agent。
Mobile-Agent-v2问世：AI手机助手全面升级
specssss的博客
06-18 566
生成指南时，智能体需要依赖历史屏幕中的天气信息。此外，由于决策智能体无法直接观察操作后的屏幕信息，系统还引入了反思智能体，用于监测并评估决策智能体操作前后的屏幕状态变化，确保操作的正确性。除此之外，Mobile-Agent-v2也已经接入到魔搭的ModelScope-Agent中（链接：https://github.com/modelscope/modelscope-agent），根据魔搭团队发布的演示视频，ModelScope-Agent拥有了使用Mobile-Agent-v2完成自动化打车的能力。
鸿蒙自动化发布测试版本app
最新发布
编程菜鸟---正在努力进阶
09-07 706
项目”请务必保持为N/A，表示创建的客户端为团队级的API客户端。如果不为N/A，将会导致调用API时返回403错误。
革新测试体验：鸿蒙版Solopi，自动化测试的新纪元
伤心的辣条
05-20 838
在当今快速迭代的软件开发环境中，自动化测试成为了提高产品质量和开发效率的关键。随着鸿蒙系统的日益普及，开发者对于高效、易用的鸿蒙测试工具的需求也日益增长。在这个背景下，“鸿蒙版Solopi”的问世，无疑为鸿蒙应用的测试领域带来了一股清新的风。这款无需编写脚本的自动化测试工具，以其强大的功能和用户友好的界面，正在逐步改变着开发者的工作方式，让测试变得更加简单、快捷。
aws-mobile-automation-integration:AWS与移动自动化集成
05-17
AWS Device Farm和移动自动化集成 此POC是我们如何使用Appium集成AWS Device Farm和Mobile Automation的方法。 先决条件： Java 玛文 Appium AWS账户 关于测试框架： 该框架是使用Java＆Selenium \ WebDriver，...
delivery-app-mobile::pizza:React Native 送餐应用
07-23
送货应用手机 使用 React Native 构建的外卖应用 连接项目 网站： : 返回： : 设置 yarn 要么 ... 安卓： 纱线： yarn android npm: npm run android 后期构建： 纱线： yarn start npm: n
mobile-ffmpeg：适用于Android，iOS和tvOS的FFmpeg
02-01
FFmpeg适用于Android，iOS和tvOS 1.特点 同时包含FFmpeg和FFprobe 使用Github / JCenter / CocoaPods可用的二进制文件或使用所需的外部库构建自己的版本 支持 Android，iOS和tvOS FFmpeg v3.4.x ， v4.0.x ， v...
React-JS-Native-Mobile-Application---SQLite-Database:React Native SQLite数据库-Android和IOS应用
05-03
React-JS-Native-Mobile-Application--SQLite数据库 React Native中SQLite数据库示例 我们将使用可在Android和iOS上运行SQLite3本机插件。 它基于Cordova SQLite插件。 我们将拥有一些自定义组件，例如（按钮，文本...
一句指令帮你操作手机，最新多模态手机助手Mobile-Agent来了！
我爱计算机视觉
01-31 227
关注公众号，发现CV技术之美项目：https://github.com/X-PLUG/MobileAgent论文：https://arxiv.org/abs/2401.16158v1多模态agent时代已经到来，目前已有不少有趣的应用，今天来介绍一个用多模态agent实现手机操作助手的工作Mobile-Agent: Autonomous Multi-Modal Mobile Device Agen...
mobile agent 学习
学习笔记
10-13 5149
计算机智能化和网络化进程促成了Agent技术的迅速崛起和广泛应用，移动Agent技术是为解决复杂、动态、分布式智能应用而提出的一种全新的计算手段，是计算机软件技术的又一次深刻变革。 本系列文章分两个部分介绍移动Agent这一智能化的分布式计算新模型：第一部分对软件Agent和移动Agent的一些基本概念作了简要阐述，提出了基于移动Agent的分布式计算模型；第二部分简明介绍了目前常用的移动Age
AppAgent 开源项目教程
gitblog_00601的博客
08-12 302
AppAgent 开源项目教程 AppAgent项目地址:https://gitcode.com/gh_mirrors/ap/AppAgent 项目介绍 AppAgent 是一个基于大型语言模型（LLM）的多模态代理框架，旨在操作智能手机应用程序。该项目由 Chi Zhang、Zhao Yang 等人开发，并在 GitHub 上开源。AppAgent 能够通过直观的点击和滑动手势与应用程序交互，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值