微软OmniParser：基于计算机视觉的GUI智能体

AI 代理可以通过一系列思维过程分解高度模糊的问题，类似于人类的推理，从而处理这些问题。这些代理可以使用各种工具（包括程序、API、网络搜索等）来执行任务并寻找解决方案。

上图说明了组成 AI 代理的各种组件，包括其网页浏览功能以及导出手机屏幕、桌面视图和网页浏览器的能力。

1、AI代理的局限性

AI 代理主要依靠基于 API 的方法来访问数据和其他资源。为了使 AI 代理实现更高级别的自主性，引入更多模态至关重要。

最近，在使 AI 代理能够映射、解释和导航图形用户界面 (GUI)（例如浏览器、桌面和手机操作系统）方面取得了重大进展。

这一进步使 AI 代理在使用 GUI 方面更接近人类的能力。

该领域的著名研究包括 LangChain 的工作原型实现，例如 Apple 的 WebVoyager 和 Ferrit-UI。

上图中的MindSearch 是 AI 代理的一个典型示例，它将收到的指令分解为一系列中间步骤，并将这些步骤转换为图形表示。