Junseer的博客

来自华盛顿大学和微软研究院的研究团队提出了 DuploTrack —— 一个基于Kinect深度摄像头的实时系统，用于记录、重建并引导Duplo积木的组装过程。该系统不仅实现了模型构建过程的自动记录（创作模式），还能在重建模型时提供与实物对齐的虚拟指导（引导模式），论文发表于 UIST 2012。

这篇水文介绍了一种基于大型语言模型（LLMs） 的建筑用互锁块机器人装配框架，旨在解决建筑机器人因缺乏训练数据、计算资源及应对新任务能力而未被广泛接受的问题。该框架通过预定义提示词让 LLM 解读工人指令，生成动作序列和机器人功能，无需大量预先训练，能降低训练成本并提升机器人适应性。经互锁块装配任务验证，机器人可准确执行简单指令，但处理复杂指令仍需改进，展现了 LLM 基机器人在建筑装配与人类协作中的潜力。

文章提出LLM+A框架，旨在通过无需训练的范式让大型语言模型（LLMs）同时担任机器人操作任务中的高级子任务规划器和低级运动控制器。为解决LLMs缺乏物理世界 grounding 的问题，框架引入 affordance prompting 技术，促使LLMs预测计划后果并生成目标条件下的物体各部分交互优先级（affordance values）。实验表明，该方法在推、拾取放置等异质机器人任务中显著优于基线方法（如Naive LLM、ReAct等），平均成功率达59%（推任务）和85%（拾取放置任务），验证了

本文提出 RGB-Stacking 基准测试，研究如何仅凭 RGB 摄像头视觉和本体感知，实现机器人对 复杂几何物体的高效堆叠。通过结合仿真专家训练、交互式模仿学习与现实世界离线强化学习，提出的系统成功实现了 从仿真到现实世界的零样本迁移，展现出优秀的泛化能力与鲁棒性。