DataWhale AI 夏令营 Mobile Agent Task2 Mobile-Agent框架原理分享

一、Mobile-Agent框架原理

        Mobile-Agent：通过截图分析实现移动应用操作自动化。

        自主多模态代理 "Mobile-Agent " 介绍 ：提议的多模态代理将视觉和语言整合在一起，实现移动应用操作自动化
        视觉识别技术的应用： 可根据屏幕截图直接进行操作定位，减少对用户界面的依赖、
        使用 "Mobile-Eval "基准进行性能评估：使用 新提出的基准证明了较高的任务完成率和操作准确性。

        Mobile-Agent 将文本检测模块和图标检测模块与最新的大规模语言模型 (MLLM) GPT-4V 结合在一起。这一组合大大提高了移动设备上基于指令的操作的准确性。

        

        虽然核心 GPT-4V 可以通过读取说明和屏幕截图来显示相应的操作，但它缺乏在移动设备实际运行时精确定位操作发生位置的能力。为了弥补这一不足，我们引入了外部工具来精确定位文本和图标的位置。

        当需要确定文本的确切位置时，例如，当需要点击屏幕上的特定文本时，就需要使用 OCR（光学字符识别）工具来查找文本的位置。这一过程因检测到无文本、检测到一个文本或检测到多个文本而有所不同。针对每种情况，本文都提出了重新选择文本或为文本点击生成明确指示的方法。

        当需要准确定位图标时，例如点击图标时，图标检测工具和 CLIP 可用于识别图标的准确位置。首先要求代理指定要点击的图标的属性，然后使用接地 DINO 和 "图标 "提示来识别所有图标。最后，使用 CLIP 计算所有检测到的图标与点击区域描述之间的相似度，并选择相似度最高的区域进行点击。

        为了更好地解释移动代理在屏幕上执行的操作，还定义了以下八种操作。

• 打开应用程序（App）：打开桌面页面上的特定应用程序。
• 点击文本（Text）：点击屏幕上标有 "文本 "的区域。
• 点击图标（图标，位置）： 点击 "图标 "描述的 "位置 "区域。
  图标 "提供了对点击位置的描述，包括其属性（颜色、图标形状等）。
  位置 "可从顶部、底部、左侧、右侧或中央选择一个或两个选项，以减少出错的可能性。
• 类型（文本）：在当前输入框中输入 "文本"。
• 上下翻页：上下滚动当前页面。
• 返回：回到最后一页。
• 退出：从当前页面直接返回桌面。
• 停止：指令完成后，整个进程终止。

        移动代理会反复完成每个操作步骤。在迭代开始之前，用户必须输入指令。根据这些指令，整个过程都会生成提示。每次迭代开始时，都会截取当前手机屏幕的屏幕截图并输入代理。代理处理提示、操作历史和当前屏幕截图，并输出下一步操作。如果代理的输出结果是流程结束，则迭代停止。移动代理使用操作历史记录来跟踪当前任务的进度，并根据提示在当前屏幕截图上生成操作，从而实现迭代、自我规划流程。

        

        此外，在迭代过程中，代理可能会出错，无法完成指令。为了提高指令的成功率，我们引入了一种自我反思方法。

        这种技术在两种情况下非常有效：一是当代理生成不正确或无效的操作，导致进程停滞时。如果代理检测到特定操作后屏幕截图没有变化，或显示的页面错误，它就会指示代理尝试其他操作或纠正当前操作的参数。这是指代理忽略了复杂指令的具体要求。在代理通过自我规划完成所有操作后，指示代理分析操作、历史记录、当前截图和用户指令，以确定指令是否完整。如果没有，代理必须继续通过自我规划生成操作。

        此外，为了更好地实现这些功能，我们还采用了 ReAct 中使用的提示格式。它要求代理输出三个部分：观察（Observation）、思考（Thought）和行动（Action）。观察是对当前截图和代理操作历史的描述。这有助于代理注意屏幕截图的更新，并根据历史记录快速识别错误。思考（Thought）是对根据观察和指示生成的下一步操作步骤的考虑。代理需要在 "思考 "中解释即将进行的操作。根据 Thought，代理可以从八个操作和参数中选择一个进行操作。

二、实际完成效果（简易版）