UFO：革新Windows操作系统交互的UI聚焦代理

人工智能咨询培训老师叶梓 转载标明出处

人机交互的便捷性和效率直接影响着我们的工作和生活质量。尽管现代操作系统如Windows提供了丰富的图形用户界面（GUI），使得用户能够通过视觉和简单的点击操作来控制计算机，但随着应用程序功能的日益复杂化，用户在执行跨应用任务时仍面临着挑战。从繁琐的数据输入到复杂的多步骤流程，用户经常需要在不同的应用程序之间切换，这不仅耗时耗力，也容易出错。

尤其当用户需要根据自然语言请求来执行任务时，现有的技术往往无法直接理解并转化为具体的操作。例如，将电子邮件草拟、会议笔记整理、图像编辑等任务自动化，需要一个能够理解自然语言并跨应用程序操作的智能代理。随着大型语言模型（LLMs）和人工智能技术的发展，人们越来越期待能够实现更加智能化、自动化的交互体验。

微软公司的研究团队提出的UFO（User Interface-Focused Agent）正是为了解决这一问题而设计的。UFO是一个创新的UI聚焦代理，专门为Windows操作系统环境量身打造。它利用了最新的GPT-Vision技术，通过自然语言处理和图形用户界面分析，能够理解并执行复杂的用户请求。UFO的设计不仅提高了任务执行的效率，还通过自动化减少了人为错误，使用户能够更加专注于创造性和战略性的工作。

UFO的概念图
它通过从 Word 文档中提取信息、观察照片中的图形以及从 PowerPoint 演示文稿中总结内容来完成用户请求，然后利用这些信息自动撰写并发送电子邮件

UFO介绍

UFO采用双代理架构，其设计初衷是作为一个中间层，理解用户的自然语言请求，并将其转化为对Windows操作系统上应用程序的具体操作。

UFO架构图

Figure 2中UFO的架构以双代理框架为核心，包括一个HostAgent和一个AppAgent。HostAgent的职责是分析用户请求，并从当前活跃的应用程序中选择一个最合适的应用程序来执行任务。如果一个请求需要跨越多个应用程序，HostAgent也能够在完成前一个应用程序中的任务后，切换到不同的应用程序。

HostAgent在接收到用户请求时，会进行需求分析。它利用完整的桌面截图和可用应用程序列表来辅助决策过程。这些信息帮助HostAgent理解当前桌面环境和应用程序的状态，从而选择最合适的应用程序来响应用户的需求。选定应用程序后，HostAgent会制定一个全面的全局计划，这个计划随后会传递给AppAgent。

AppAgent负责在选定的应用程序上迭代执行动作，直至任务在特定应用程序内成功完成。在每次动作选择之前，UFO会捕获当前应用程序用户界面窗口的屏幕截图，并标注所有可用的控件。UFO还会记录每个控件的信息，供AppAgent观察和决策。AppAgent的任务是选择一个控件进行操作，并通过控制交互模块执行特定动作。这个决策过程基于AppAgent的观察、先前计划和操作记忆。

执行动作后，UFO会构建未来步骤的本地计划，并继续进行下一步动作选择。这个过程会递归地继续，直到用户请求在选定的应用程序中成功完成。如果用户请求涉及多个应用程序&#