【机器人】UIUC、北大、亚马逊提出基于动作的场景图，让机器人理解和操控未知环境

论文的主要内容是通过机器人操作的交互式探索，构建一个基于动作的场景图（Action-Conditioned Scene Graph，简称ACSG）来帮助机器人更好地理解和操作未知环境。
全文核心：在未知环境中如何让机器人自主探索并完成复杂任务？比如在视频开头机器人在一个全新的场景中，人类的指令要求是帮我准备一下早餐，一开始机器人不知道桌面上有什么东西可以准备的，所以它需要自主探索环境并构建一个能够捕捉环境结构的场景图（ACSG）。
ACSG是一种可交互的、空间-拓扑的表示，用于模拟场景中的物体之间的交互和空间关系。在这里，准备早餐前，机器人需要探索抽屉和柜子以找到所有的餐具和调味品来构建场景图。后面能够利用这个场景图应用于下游任务，比如准备早餐。
作者设计了五种类型的实验，每种实验有10个不同的设置，以测试系统在不同环境条件下的适应性和鲁棒性。包括不同数量的抽屉、门、不同类型的容器和障碍物，以及需要递归探索的嵌套物体（如俄罗斯套娃），展示了构建的ACSG在指导复杂下游操作任务中的效用，例如在模拟厨房环境中准备早餐。验证了ACSG在实际应用中的有效性，如通过ACSG来优化物体的摆放和检索物体。

详情关注公众号：AI机器人日记

公众号有视频，图片，代码分享。