Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents

最新推荐文章于 2024-08-30 07:34:58 发布
最新推荐文章于 2024-08-30 07:34:58 发布
阅读量413 收藏 2
点赞数
分类专栏： paper_reading 文章标签： 语言模型 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kebijuelun/article/details/128452560
版权

Paper name

Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents

Paper Reading Note

URL: https://arxiv.org/pdf/2201.07207.pdf

TL;DR

  • ICML 2022 文章，尝试利用 Large language models (LLMs) 做出目标驱动的决策，这些决策可以在交互式、具体化的仿真环境中实施。其中 LLMs 不需要进行任何 finetune

Introduction

背景

  • Large language models (LLMs) 近几年取得重要的突破，通过在人类生产的语料库上训练的模型包含着很多信息，这些模型在语言任务上应用广泛，本文希望探索这些语言模型是否能在做出目标驱动的决策，这些决策可以在交互式、具体化的仿真环境中实施，同时本文希望探索这些模型是否可以不经过任何 finetune 就实现上述任务
  • 比如在最近提出的仿真环境 VirtualHome 中，一个 high-level 的任务（比如做早餐）可以被分解为一系列有根据的行动（打开冰箱，取牛奶，关冰箱等）

本文方案

在这里插入图片描述

  • 本文发现，GPT-3 和 Codex 大语言模型在给定提示一个任务的描述及其相关动作序列的固定示例时，可以为我们感兴趣的任务生成非常合理的动作计划。然而这些模型的输出的 action 很难直接在仿真环境中运行，或者存在语义歧义性
  • 考虑到大语言模型输出的 action 无法直接在仿真环境中运行，本文提出了以下优化方案（将 action 的可执行性从 18% 提升到 79%）：
    • 遍历所有容许的 actions，将模型输出映射到语义相近的 action 上 （基于 RoBERTa 做语义相似性判断）
    • 将修正过后的 action 逐步添加到模型输入中，这种动态校正能使得语言模型的输出更贴合容许的 actions
    • 通过使用类似于查询任务的已知任务示例来提示模型，从而对模型提供弱监督。这有点让人联想到 prompt tuning 方法，但不需要访问模型的梯度或内部结构

Dataset/Algorithm/Model/Experiment Detail

实现方式

评价体系
  • 评估环境： VirtualHome
    • virtualhome 中每个活动可以表示为程序，程序由一系列 action 组成： [action] arg (idx)
      • action 有 42 中：比如 walk，open
      • args：不同的交互对象，比如 bedroom、fridge
      • idx：交互对象的 id
    • Relax on sofa 活动的程序如下
      在这里插入图片描述
  • 评估任务方法
    • 使用 ActivityPrograms 知识库进行评测，该知识库由 Amazon Mechanical Turk (MTurk) 标注，2821 组数据，每个数据包含以下信息
      • high-level 的任务名称，比如 Watch TV
      • 自然语言对该任务的描述，比如 Sit on my couch directly opposite my TV, switch on my TV with the remote control and watch
      • 可执行该任务的程序
    • 本文是直接利用 high-level 的任务名称得到执行该任务的程序，挑选了 88 组数据用于测试，204 组数据作为样例数据
  • 评价指标
    • Executability：可执行性衡量行动计划是否能够正确解析并满足环境的常识约束
    • Correctness：自然语言任务规范的模糊性和多模态性导致正确性难以评测，所以基于人工对方法进行评测；另外对于实验分析，提出了相似性度量方法（基于最长公共子字符串）来判断模型生成的程序与人工标注的程序的相似性，作为人工评测的辅助
方法

在这里插入图片描述

  • 左图展示了使用 demostration 任务加在 prompt 中能够让语言模型模仿输出程序步骤

  • 中图展示了使用另外一个语言模型来将语言模型输出的程序 action 转换为仿真环境容许的 action
    基于模型输出的程序 action 与容许 action 库的相似度来转换
    在这里插入图片描述

  • 右图展示了将上一步中的转换后的 action 逐步加在 prompt 中，同时会动态挑选与当前任务相似的 demostration 任务作为 prompt 的一部分，提供 weak supervise
    在这里插入图片描述

实验结果

  • 只有足够大的模型才有一定的 correctness，大模型的 executability 也较低
    在这里插入图片描述
  • 消融实验
    在这里插入图片描述
  • 可执行并且正确的程序占比，人类正确率为 65.91%，和人类还有很大差距
    在这里插入图片描述
  • 不同的翻译用语言模型的影响
    在这里插入图片描述
  • 如果在 prompt 中也使用 description 数据后， LCS （最长公共子字符串）指标能和有监督方法差不多
    在这里插入图片描述
    在这里插入图片描述

Thoughts

  • 本文总结的未来可探索的点
    • Correctness 降低：主要是由 translation 的语言模型错误、VirtualHome 的表达有限导致（一些语言模型的输出 action 在仿真环境中不支持）
    • 不直接生成 low-level 的 action，改为生成 mid-level，只考虑mid-level中最突出的挑战，即生成的程序必须满足所有常识约束（以可执行性度量为特征）
    • 本文没有研究LLM对于低级感知运动行为基础的有用性，与感知相关的任务可能需要 finetune，比如对于导航与交互等任务
    • 进一步与环境进行交互
  • Dynamic Example 能大幅涨点说明了这些语言模型的输入 prompt 中如果能带上一些任务相关的信息会非常有利，也即进一步 finetune 理论上也是能涨点的
kebijuelun
关注
专栏目录
Large Language Models are Learnable Planners for Long-Term Recommendation
c_cpp_csharp的专栏
06-18 113
在建议中，对眼前和长期利益进行规划变得越来越重要。现有的方法通过最大化长期推荐的累积奖励来应用强化学习（RL）来学习规划能力。然而，当从头开始训练RL模型时，推荐数据的稀缺性带来了挑战，如不稳定性和过拟合的易感性，导致性能次优。有鉴于此，我们建议利用大型语言模型（LLM）在稀疏数据上的卓越规划能力进行长期推荐。实现这一目标的关键在于制定一项指导计划，遵循加强长期参与的原则，并以个性化的方式将该计划建立在有效和可执行的行动基础上。
LLM-based Multi-Agents 系统架构详细设计和项目代码实例详解
最新发布
AI天才研究院
09-03 1262
随着人工智能技术的快速发展，大语言模型（Large Language Models，LLMs）已经成为自然语言处理领域的重要突破。然而，单一的LLM在处理复杂任务时往往存在局限性。为了克服这些限制并充分发挥LLM的潜力，研究人员提出了基于LLM的多智能体（Multi-Agents）系统。这种系统通过整合多个专门化的智能体，实现了更强大、更灵活的问题解决能力。LLM-based Multi-Agents系统将多个基于大语言模型的智能体组织在一起，形成一个协作网络。
【论文笔记】Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents
m0_48948682的博客
08-16 589
本文研究了如何将用自然语言（例如“做早餐”）表达的高级任务以基于一组可操作步骤（例如“打开冰箱”、“准备食物”、“烹饪”等）进行实现的可能性。之前的方法主要集中在从明确的逐步操作示例中学习如何行动。作者认为，预训练的语言模型足够大并且得到适当的提示，它们可以有效地将高级任务分解为中级计划，而无需进一步的训练。但是LLMs生成的计划通常无法精确映射到可接受的动作。
语言模型作为零样本规划师：为具身智能体提取行动指南的开源项目
gitblog_00313的博客
08-30 901
语言模型作为零样本规划师：为具身智能体提取行动指南的开源项目 language-plannerOfficial Code for "Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents"项目地址:https://gitcode.com/gh_mirrors/la/lan...
《预训练周刊》第35期：零样本规划器的语言模型：为智能体提取可操作的知识、LaMDA：对话应用的语言模型...
BAAIBeijing的博客
01-27 736
No.35智源社区预训练组预训练研究观点资源活动关于周刊本期周刊，我们选择了13篇预训练相关的论文，涉及动作规划、大模型改进、网络结构、零样本学习、对话模型、视频理解、机器翻译、字幕生成、...
大语言模型LLMs驱动机器人 李飞飞 VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models
weixin_41407147的博客
07-12 4084
在这项工作中，我们的目标是合成机器人轨迹，即一个密集的6自由度末端执行器航点序列，用于处理给定开放集合的指令和开放集合的对象的各种操作任务。我们首先观察到LLMs擅长根据自由形式的语言指令推断出可供性和约束。更重要的是，通过利用他们的代码编写能力，他们可以与视觉语言模型（VLM）交互，组合3D价值地图 *3D Value Map*，将知识固定在代理的观察空间中。然后，将组合的价值地图用于基于模型的规划框架中，以zero-shot方式合成对动态干扰具有鲁棒性的闭环机器人轨迹。
【论文笔记】Leveraging Pre-trained Large Language Models to Construct and Utilize World Models for Model-b
m0_48948682的博客
07-14 1075
人们对将预训练大型语言模型（llm）应用于规划问题越来越感兴趣。直接使用 LLM 作为规划器的方法目前是不切实际的，包括计划的有限正确性，强烈依赖于模拟器与实际环境的交互得到的反馈，以及利用低效率的人类反馈。在这项工作中，作者引入了一种新的替代范例，它使用规划领域定义语言（PDDL）构建显式的世界模型（领域模型），然后使用可靠的领域无关规划器进行规划。
app-planners:客户的Laravel网站项目
05-26
关于Laravel Laravel是一个具有表达力，优雅语法的Web应用程序框架。 我们认为，发展必须是一种令人愉快的，富有创造力的经历，才能真正实现。 Laravel减轻了许多Web项目中使用的常见任务，从而减轻了开发过程中的...
解释这行代码：def run_simulation(cfg: DictConfig, planners: Optional[Union[AbstractPlanner, List[AbstractPlanner]]] = None) -> None:
07-12
这行代码定义了一个名为 `run_simulation` 的函数，它接受两个参数：`cfg` 和 `planners`。`cfg` 是一个类型为 `DictConfig` 的参数，而 `planners` 是一个可选参数，类型可以是单个 `AbstractPlanner` 对象或 `...
rrtstar的matlab代码-sampling_based_planners:这是一些在MATLAB中实现的基于采样的运动计划算法的库
05-26
rrtstar的matlab代码sample_based_planners 这是MATLAB中实现的一些基于采样的运动计划算法的库。 当前，可以使用以下方法：快速探索随机树（RRT），快速探索随机图（RRG），渐近最优RRT（RRT *）。 是以技术为基础...
2022 年 2 月 arXiv 论文推荐
deephub
02-04 2421
强化学习、多模态、语言模型即服务、计算机视觉、信息检索等。 Meta 的新型超级计算机——AI Research SUperCLuster 的发布是为了满足大型机器学习模型日益苛刻的计算需求。 再次证明，增长模型的趋势远未结束。 PyTorch 已经 5 岁了！ 它已成为最流行的深度学习框架，不仅用于学术研究，还为当今行业树立了标准。 FFCV 库：一个计算机视觉加速数据加载系统，用于增加模型训练中的数据吞吐量。 只需更换数据加载器，然后……???? 本篇文章选择了 10 篇论文，这些论文展示了各种 AI
大语言模型集成工具 LangChain
热门推荐
kebijuelun的博客
01-17 1万+
介绍：通过可组合性使用大型语言模型构建应用程序【背景】大型语言模型 (LLM) 正在成为一种变革性技术，使开发人员能够构建他们以前无法构建的应用程序，但是单独使用这些 LLM 往往不足以创建一个真正强大的应用程序，当可以将它们与其他计算或知识来源相结合时，就有真的价值了。LangChain 旨在协助开发这些类型的应用程序使用文档：https://langchain.readthedocs.io/en/latest/index.html。
WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving
kebijuelun的博客
01-27 4796
Paper name WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving Paper Reading Note URL: https://openaccess.thecvf.com/content_ICCV_2019/papers/Yogamani_WoodScape_A_Multi-Task_Multi-Camera_Fisheye_Dataset_for_Autonomous_Driving_ICCV
Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models
kebijuelun的博客
03-12 4643
如下图所示，所提出的主要模块叫做 Prompt Manager，作用是基于用户输入，结合 chatgpt 和各个视觉基础模型实现用户给定的多模态任务。Visual ChatGPT 多模态对话系统的功能对于上面每轮答案 Ai 都需要利用一系列 VFM(F) 模型，具体的处理模块为 Prompt Manager (M)，公式表示为。整体流程如下图所示，左边展示了三轮对话内容，中间展示了 Visual ChatGPT 具体处理流程，右边展示了处理第二轮对话中 VFM 模型的具体处理细节。支持的视觉基础模型汇总。
Consistent Video Depth Estimation - 时序一致的视频深度估计算法
kebijuelun的博客
12-08 4263
Paper name Consistent Video Depth Estimation Paper Reading Note https://arxiv.org/pdf/2004.15021.pdf TL;DR SIGGRAPH 2020 的文章，提出了一种基于视频的重建方案，结合基于深度学习的深度估计方法及传统的基于几何约束的方法，来得到准确和一致的深度；具体采用的方法是在测试时对单帧深度估计网络进行 finetune，让模型学会满足特定场景的几何约束，同时也保持合成合理深度的能力 Introduct
Parallax-tolerant Image Stitching - 解决大视差图片拼接的方法
kebijuelun的博客
06-25 3265
Paper name Residual Attention Network for Image Classification Paper Reading Note URL: http://web.cecs.pdx.edu/~fliu/papers/cvpr2014-stitching.pdf TL;DR Introduction Dataset/Algorithm/Model/Experim...
State of GPT (ChatGPT 原理及现状介绍)
kebijuelun的博客
06-01 3110
要用 RLHF 的一个简单的原因就是 RLHF 模型效果更好，下面的图来源于 InstructGPT 论文，PPO (RLHF 算法) 后的模型生成的答案更被人类喜欢。karpathy 认为 RLHF 有用的原因是判别比生成更容易，让标注员去写一些 SFT 的 QA 数据对是比较难的，如果有一个 SFT 模型生成一些数据让标注员判断哪个更好就简单很多。，GPT4 最强，前三个都是 RLHF 模型，其他模型都是 SFT 模型。伯克利做的模型评测榜单。
Seam-Driven Image Stitching - 基于最佳拼缝搜索的图像拼接
kebijuelun的博客
04-27 3023
Paper name Seam-Driven Image Stitching Paper Reading Note URL: https://yu-li.github.io/paper/eg13_stitching.pdf TL;DR 该论文是 Eurographics 2013的一篇文章，主要目的是解决在图像拼接阶段如何找到更合适的拼缝，作者提出了一种基于不同几何变化进行图像拼接并从中搜索到最...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值