weixin_43564920的博客

类似于人类浏览网页，Agent也将网页的视觉信息（屏幕截图）作为主要输入来源。因此观察空间包括当前的网页截图和辅助文本。通过在网页上的交互元素上叠加边框和数字标签，Agent能够更准确地确定需要交互的元素，并执行相应的动作。▲网页截图示例。

引一个乐观主义者的悲观估计随着大规模模型技术的兴起，我们正处于一个崭新的智能时代的黎明。我们有一个大胆的预测，未来的5到10年将可能带来一场大变局：99%的开发、设计和文字工作将被AI接管。这不仅仅是一个想象，而是对未来可能趋势的深思熟虑。在互联网时代，我们目睹了大量网站的崛起，成为互联网时代的原生应用的主要载体，这个时代有了 Web 相关的新技术，这些技术承载着 Google、Facebook、Twitter 等互联网明星企业的崛起。

与LLM推理机制中严格硬编码工具调用的固定实践流程相反，以代码为中心的范式允许LLM动态生成tokens，并使用可适应的参数（adaptable parameters）调用执行模块，为LLM与其他功能终端交互提供了一种简单明了的方法，增强了其应用程序的灵活性和可扩展性。对于数据密集型领域中更复杂的任务，如化学、生物学和天文学，这些任务涉及对特定领域python库的调用，其中包含许多不同功能的复杂函数，增强LLMs正确调用这些功能函数的学习能力是一个前瞻性的方向，可以使LLMs在细粒度领域中执行专家级任务。

2023年11月，OpenAI首届开发者大会之后，比尔•盖茨写了一篇文章阐述了AI Agent彻底改变人机交互、颠覆软件行业，称之为“一个对科技行业的冲击波”、“一场自输入命令到点击图标变革之后计算机领域的最大变革”。想象一下，AI Agent 就像一位全能辅助员工，它可能是下一个热点领域——也就是智能技术的新前沿。比起只专注于语言任务的大型智能模型，比如自动写作或者聊天，AI Agent 更进一步，它的设计是为了在现实世界中真正帮忙解决问题，像个实实在在的好帮手。