全网最详细最划算的保姆级配置开源项目AppAgent教程

已于 2024-01-31 17:56:50 修改
阅读量2.2k 收藏 19
点赞数 8
分类专栏： 技术教程 文章标签： 开源 ai chatgpt
于 2024-01-31 17:53:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43118243/article/details/135957537
版权
本文详细介绍了如何获取、配置和运行全网最划算的AppAgent开源项目，包括Python和ADB环境的设置、CMAKE的安装，以及项目配置文件的解读。提供从准备工作到运行阶段的完整指南，助力快速上手。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

全网最详细最划算的保姆级配置开源项目AppAgent教程

一.准备工作

在这里插入图片描述

1.首先获取项目源码

先看完教程,文末有下载链接

2.配置Python环境

在这里插入图片描述

用我后面提供的版本,一些支持库我都打包了,解压即用

3.配置ADB环境

在这里插入图片描述

4.安装CMAKE

在这里插入图片描述

按照图示勾选即可,记得一定要让其自己配置环境变量,省去了手动配置的麻烦

二.实操阶段

1.解压本人提供的压缩包

在这里插入图片描述

当然,我也为你们提供了Python3.11.5的安装包,非必要不用,毕竟便携包已经配置好所需包

2.配置环境变量

首先点击高级系统设
在这里插入图片描述

点击环境变量
在这里插入图片描述

配置系统变量和用户变量
在这里插入图片描述
在这里插入图片描述

如果配置用户变量就能使用,那系统变量就不必了
再把adb 和 Python路径都粘贴,也就是下图中的倒数三个
在这里插入图片描述

三.验证环境

1.ADB环境

输入adb出现以下内容既配置成功在这里插入图片描述

2.python环境

一定要是如下版本,否则你就没有使用我给你的便携包,最好去看看环境变量
在这里插入图片描述

四.运行阶段

1.介绍项目主要配置文件

在这里插入图片描述

第一行:OpenAI的接口地址 本人使用的是第三方中转平台
第二行:你的OpenAI Key
第三行:唯一可识别图片的模型
第七行和第八行:手机内必须先手动创建 用于存放所分析的截图 和 xml分析文件

2.cd进入项目文件夹

具体路径根据解压路径而定
在这里插入图片描述

3.下载所需Python包

如果环境配置好可以省略,但是执行一下有备无患

pip install -r requirements.txt

4. 解释项目指令

学习模式

python learn.py

在这里插入图片描述

第一个为自主学习,第二个为教学引导,可以自行摸索

执行模式

python run.py

调用学习好的模型运行

总结

一.准备工作

  1. 获取项目源码：在开始之前，您需要首先获取AppAgent项目的源代码。这通常可以通过访问项目的官方仓库或者通过提供的下载链接来完成。确保您下载的是最新版本，以便能够使用所有最新的功能和修复。

  2. 配置Python环境：为了运行AppAgent，您需要配置一个合适的Python环境。建议使用Python 3.11.5版本，因为博主已经为这个版本打包了所需的支持库。如果您没有安装Python，可以通过官方Python网站下载并安装。安装完成后，确保Python的路径被添加到系统的环境变量中。

  3. 配置ADB环境：ADB（Android Debug Bridge）是Android开发中用于设备和电脑之间通信的工具。您需要确保ADB环境已经正确配置，以便能够与Android设备进行交互。这通常涉及到下载ADB工具包并将其路径添加到环境变量中。

  4. 安装CMAKE：CMAKE是一个跨平台的构建系统，用于编译和管理软件项目。在安装CMAKE之前，请确保您的系统满足其安装要求。下载CMAKE并按照官方指南进行安装，同时确保在安装过程中勾选了自动配置环境变量的选项，这样可以简化后续的配置步骤。

二.实操阶段

  1. 解压压缩包：下载完成后，您需要解压博主提供的压缩包。这将包含所有必要的文件和脚本，以便您能够开始配置和运行AppAgent。

  2. 配置环境变量：为了确保系统能够识别ADB和Python的路径，您需要在系统的环境变量中添加这些路径。这通常涉及到编辑系统的环境变量设置，将ADB和Python的安装路径添加到PATH变量中。

三.验证环境

  1. 验证ADB环境：为了确认ADB环境配置成功，您可以在命令行中输入adb命令。如果系统能够正确响应并显示ADB的帮助信息，那么您的ADB环境配置就成功了。

  2. 验证Python环境：同样地，您可以通过在命令行中输入python --version来验证Python环境。如果显示的是您安装的Python版本（如3.11.5），那么您的Python环境配置也是正确的。

四.运行阶段

  1. 介绍项目主要配置文件：在运行AppAgent之前，您需要了解项目的主要配置文件，这些文件包含了OpenAI接口地址、您的OpenAI Key、唯一可识别图片的模型等关键信息。确保这些信息填写正确，以便AppAgent能够正常工作。

  2. 进入项目文件夹：在命令行中使用cd命令切换到AppAgent项目的文件夹。这通常是您解压压缩包后所在的目录。

  3. 下载所需Python包：虽然博主提供的便携包已经包含了所需的Python包，但为了确保一切顺利，您可以运行pip install -r requirements.txt来安装所有依赖的Python包。

  4. 解释项目指令：了解如何使用AppAgent的命令行指令。例如，python learn.py用于自主学习模式，而python run.py则用于调用学习好的模型进行运行。这些指令将指导您如何开始使用AppAgent的功能。

资源获取：如果您需要更多关于AppAgent的教程或者资源，可以访问博主的个人主页、CSDN主页或者哔哩哔哩主页。这些资源将提供更详细的操作指南和视频教程，帮助您更好地理解和使用AppAgent。

资源获取

更多教程请访问我的个人主页
图文教程:CSDN主页
视频教程:哔哩哔哩主页
本章视频:视频链接
下载文件:下载地址

Cursor使用教程
CamilleZJ的博客
01-08 2万+
全面详细的cursor使用教程！
炸了！腾讯开源！AppAgent：AI大语言模型实现自主玩手机！
赵KK的博客
01-31 1961
2024年第一个工作日，带来腾讯开源多模式代理AppAgent,以后APP完全自动化或可实现，结合AI大模型应用，能做的事情更多，完全开放想象。
西湖大学提出AppAgentX：“偷懒”也能高效？让Agent像你一样操作手机
最新发布
zenRRan的博客
03-06 667
这是一篇关于GUI代理的论文，非常值得看，核心思想是：如何让AI代理像我们一样熟练地操作智能手机界面（GUI），而不是像机器人一样笨拙地一步步点击。想象你每天都要在手机上重复同样的操作，比如打开某个App、搜索某个内容。如果每次都要一步步点击，那得多累啊！传统的基于规则的自动化系统虽然快，但它们缺乏智能，遇到新情况就傻眼了（比如突然弹出一个广告，它就懵了）。而基于大语言模型（LLM）的代理虽然聪明...
AI测试｜颠覆客户端UI自动化？别担心，你还不会失业！AppAgent框架简单试用
伤心的辣条
12-28 2632
近日，腾讯团队发表了一篇论文，并开源了一款基于大语言模型的，用于手机端执行复杂任务的多模态智能代理框架——AppAgent。该框架设计的初衷，是让 AI 智能体能自己操作手机，完成特定的任务，这一创新技术引起了广泛关注。
震撼：AppAgent让移动App应用测试更轻松
伤心的辣条
12-26 1579
AppAgent 的创新技术值得我们测试人员的关注。
[使用大模型进行-移动端自动化尝试] AppAgent介绍
qadnkz的专栏
09-12 2160
AppAgent可以检测模拟设备，并像操作真实设备一样操作其上的应用程序。我们的框架使代理能够通过简化的操作空间来操作智能手机应用程序，模仿类似人类的交互，如点击和滑动。这种新颖的方法绕过了对系统后端访问的需要，从而扩大了它在不同应用程序中的适用性。本节将指导您如何快速使用gpt-4-vision-preview(或qwen-vl-max)作为代理来完成您在Android应用程序上的特定任务。[2024.1.2]:🔥增加了一个可选的方法，让代理在屏幕上显示一个网格覆盖，以便在屏幕上的任何地方点击/滑动。
AppAgent 开源项目安装与使用指南
gitblog_00448的博客
08-12 736
AppAgent 开源项目安装与使用指南 项目地址:https://gitcode.com/gh_mirrors/ap/AppAgent 目录结构及介绍 在解析 AppAgent 的代码库之前，让我们先了解其基本目录结构和相关重要组件： 目录结构概览 . ├── appagent # 主要的应用逻辑所在目录 │ ├── src # 源码...
AppAgent 开源项目教程
gitblog_00601的博客
08-12 556
AppAgent 开源项目教程 项目地址:https://gitcode.com/gh_mirrors/ap/AppAgent 项目介绍 AppAgent 是一个基于大型语言模型（LLM）的多模态代理框架，旨在操作智能手机应用程序。该项目由 Chi Zhang、Zhao Yang 等人开发，并在 GitHub 上开源。AppAgent 能够通过直观的点击和滑动手势与应用程序交互，模拟人类操作，执行...
AppAgent
whaosoft143ai的博客
12-23 833
在部署阶段，代理遵循逐步方法，每一步都包括获取当前用户界面的屏幕截图和一个动态生成的文档，详细描述了用户界面元素的功能和当前用户界面页面上动作的效果。AppAgent 的多模态学习框架，结合自主探索和观察人类演示的方式，使其能够快速适应和掌握新应用，无论是处理复杂的图像编辑任务，还是导航复杂的社交媒体平台。AppAgent 的核心在于其创新的学习方式。其创新的多模态框架和有效的探索策略，不仅验证了 AppAgent 的实用性，还为智能代理在理解和操作多样化智能手机应用方面的研究提供了宝贵的见解和基准。
腾讯的AppAgent创新技术，可以操控所有的APP
中生代技术
12-26 671
来源：机器之心这就是2024年的新趋势吗？近日，一项名为AppAgent的创新技术引起了广泛关注。简单来说，AppAgent 的智能代理能力可以用于操作任何 App，它在 50 个复杂手机任务上展示了强大的能力。AppAgent 幕后团队来自腾讯，相关技术论文也已经公布。论文地址：https://arxiv.org/abs/2312.13771主页地址：https://appagent-off...
Agent系列：AppAgent v2-屏幕智能Agent(详解版)
ljp1919的专栏
01-01 1521
随着多模态大语言模型（MLLM）的发展，视觉智能体（Agent）正逐渐在软件界面中，尤其是图形用户界面（GUI）中，发挥重要作用。本文设计了一个专为移动设备打造的智能体框架，该框架基于大语言模型，能够在移动设备上导航并模拟用户交互行为。AppAgent v2 通过构建灵活的动作空间，增强了其在不同应用程序中的适应性，支持解析器、文本和视觉描述的结合。智能体的工作分为两个阶段：探索（Exploration）和部署（Deployment）。
太强了！腾讯开源！多模态AppAgent自主操作智能手机应用程序！
爬虫进击之路
01-12 1016
AppAgent的学习方式类似于人类，需要首先理解各个按钮的功能，然后进行尝试，遇到困难时会寻求帮助或观察示范。为验证AppAgent的实用性，研究团队对其在10种不同应用中执行的50个任务进行了测试，包括在谷歌地图上输入目的地并设置导航路线、编写和发送电子邮件，以及在Lightroom上进行自动修图等任务。这种观察人类示范的方法使代理能够迅速学习和适应新的应用程序，因为它可以直接借鉴人类用户的经验和技巧。AppAgent具备两种关键的学习模式，旨在增强其学习和适应能力，这也是其核心功能的一部分。
AppAgent 源码 (self_explore.py)
No trade is free, but my contents are.
12-26 1186
AppAgent是一个用于 Android 应用的自主探索工具。它通过模拟用户操作（如点击、滑动、输入等）来探索应用界面，并根据探索结果生成文档。连接到 Android 设备并获取屏幕信息。解析应用的 UI 元素。使用大语言模型（如 OpenAI 或 Qwen）生成操作指令。执行操作并记录结果。根据操作结果生成文档。
AppAgent 源码 (config)
No trade is free, but my contents are.
12-25 518
通过本教程，我们学习了AppAgent 源码 (config), 如何通过Python代码加载和测试YAML格式的配置文件。config.py文件负责加载配置文件，而文件则用于验证配置的正确性。这种结构化的配置管理方式有助于提高代码的可维护性和可扩展性。
AppAgent 内存泄漏问题总结与反思
所有内容都已迁移到 https://huqijun.org
03-25 849
1.      原因分析   使用鱼骨图梳理该问题，可以发现主要是以下几个原因造成的： 一． 测试策略方面的失误          AppAgent 企业通讯录功能，对不同的终端有不同类型的接口，我们经常提及的是移动客户端，话机，话务台。TR5前测试制定测试策略时， 由于不具备测试话机企业通讯录接口性能工具， 且测试话机接口需要比移动终端更多的物料（需要多配置网关和SIP号码），故决策Ap
AI助手：Agent工作流程与应用场景详解
2401_85343303的博客
06-12 2639
智能体作为一种具备自主性、反应性、社交性和适应性的计算机程序或实体，在各个领域具有广泛的应用前景。本文通过详细剖析智能体的工作原理和当前市场的主要呈现形式，为智能体在我国的发展提供了有益的启示。随着技术的不断进步，智能体将在未来发挥越来越重要的作用，助力各行各业实现智能化转型。那么，我们该如何学习大模型？作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习毅力和能力了。
微聊APP：一个开源的聊天功能社交软件项目
微聊APP的开源项目可能会包括源代码、文档、用户指南、安装和配置说明等。对于希望借鉴该项目进行社交软件开发的个人或团队来说，他们可以深入研究这些组件，并根据自己的需求进行定制和优化。 开源项目通常会遵循...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

挽风l

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值