TidyBot(Personalized Robot Assistance with Large Language Models)|大语言模型结合机器人的开源工作|工作解读与复现

为了使机器人能够有效地个性化物理援助，它必须学习用户偏好，以便将其广泛地应用于未来的情境中。在这项工作中，我们研究了机器人清理家庭的个性化问题。机器人可以通过收拾物品并将它们放好来整理房间。一个关键的挑战是确定每个物品的正确放置位置，因为人们的偏好可以根据个人品味或文化背景而大不相同。例如，一个人可能更喜欢把衬衫放在抽屉里，而另一个人可能更喜欢把它们放在架子上。我们的目标是建立能够从与特定人互动的先前示例中学习这些偏好的系统。我们展示了机器人可以将基于语言的规划和感知与大型语言模型（LLMs）的少量摘要能力相结合，以推断出广泛适用于未来交互的广义用户偏好。这种方法实现了快速适应，并在我们的基准数据集中实现了91.2％的准确度。我们还在名为TidyBot的现实世界移动操纵器上展示了我们的方法，成功地将85.0％的物品放好在了实际测试情境中。

整篇论文的框架：

TidyBot: Personalized Robot Assistance with Large Language Models (princeton.edu)

 

 

思考TideBot论文的Method部分：做自己的work

TidyBot中的Laundry 可以替换为 一些  (dirty work) industrial component or anything else.
方形、圆形、可以细化

LLM:

3.1 Personalized receptacle selection

we ask the LLM to complete the last line, which is a code comment summarizing what the preceding code block does.//让LLM总结我们的代码(可替换，也就是我们想做的事情写成代码，让LLM自己summarize)

Next, the summary is used by the LLM to generate placements for novel, unseen objects. The prompt consists of the summary from the LLM summarization step (in the form of a code comment), a list of the unseen objects, a list of receptacles, and a partial pick and place command for the first object. We then ask the LLM to provide a placement for each object by completing the prompt.The pick and place commands in the LLM output can then be parsed to determine where each unseen object should be placed.
接下来，LLM使用摘要来生成未见过物的放置位置。提示包括来自LLM摘要步骤的摘要（以代码注释的形式），未见过物体的列表，容器的列表以及第一个物体的部分拾取和放置命令。然后我们要求LLM通过完成提示为每个物体提供一个放置位置。LLM输出中的拾取和放置命令可以被解析，以确定每个未见物体应该放置在哪里。

 3.2 Personalized primitive selection

Similar to the way we infer generalized rules for receptacle selection, we can also infer generalized rules for how to manipulate objects, again leveraging the summarization capabilities of LLMs. First, we provide a few examples of objects along with their user-preferred manipulation primitive to the LLM, and ask it to summarize. Here is an example completion where the output from the LLM is highlighted: 

类似于我们推断出用于选择容器的一般规则的方式，我们还可以推断出用于操作物体的一般规则，再次利用LLM的总结能力。首先，我们向LLM提供一些物体及其用户首选的操作原语的示例，并要求其进行总结。以下是一个示例完成，其中LLM的输出已经突出显示：

 The summary can then be used as a generalized rule to predict the appropriate primitive to use for unseen objects:

摘要可以被用作一个概括规则，用于预测适合使用哪种操作方式来处理未知对象。（3.2本质与3.1一样，都是利用LLM的总结能力完成summary which is a generalized rule）

3.3 Real-world robotic system