ALSE 2024 Workshop报告分享┆机器人的场景理解与任务运动规划

2024年视觉与学习青年学者研讨会（VALSE 2024）于5月5日到7日在重庆悦来国际会议中心举行。本公众号将全方位地对会议的热点进行报道，方便广大读者跟踪和了解人工智能的前沿理论和技术。欢迎广大读者对文章进行关注、阅读和转发。文章是对报告人演讲内容的理解或转述，可能与报告人的原意有所不同，敬请读者理解；如报告人认为文章与自己报告的内容差别较大，可以联系公众号删除。

本文对北京通用人工智能研究院研究员刘航欣博士所做的报告《机器人的场景理解与任务运动规划》进行总结和分享。

1.报告人简介

刘航欣，北京通用人工智能研究院研究员，研究领域包括机器人感知、认知、学习，任务和运动规划、人机交互等。

2.报告概览

刘航欣博士介绍了一种基于虚拟运动链条（virtual kinematic chain）的机器人建模思路，该方法能够将机器人的移动底座、机械臂和被操作的物体建模为一个整体，更全面地表示机器人的姿态和运动，从而使机器人在困难环境中的产生更协调、灵活的动作。这个建模思路进一步驱动了一种以体现运动信息为目标的场景重建方法，该方法可以从RGB-D输入中构建一个能够与虚拟运动链条思路结合的场景图表征，实现了一个新的机器人感知和规划框架。该框架在多步骤复杂移动操作任务中展现了机器人更强的移动操作和抓取能力。

3.内容整理

刘航欣博士提出了基于虚拟运动链条的机器人建模方法，使机器人能够更全面地表示姿态和运动，进而在困难环境中展现更协调、灵活的动作。这一方法还推动了以体现运动信息为目标的场景重建方法的发展，为机器人感知和规划提供了新的框架。报告主要分为五个部分，下面逐一加以介绍。

（1）图形结构表示

1）全景重建与分割：通过全景重建和分割技术，场景中的各个部分可以被准确地捕捉和识别，然后将它们组合成一个整体的视觉图像。这种全景图像的构建为机器人提供了更丰富和更全面的场景认知，使其能够更好地理解环境中的空间布局和特征。

2）运动学联系：运动学联系描述了场景中物体之间的运动关系和相互作用。通过分析和理解物体的运动学联系，可以构建出一个联系图表示，其中节点代表物体，边表示物体之间的运动关系。这种联系图可以帮助机器人更好地理解环境的动态变化，从而更有效地规划和执行任务。

（2）任务和运动规划

1）任务规划的优势在于它能够高效地规划复杂任务的执行路径，并且提供了语义信息，这对于具身智能系统来说尤为重要。这种任务规划方法适用于长期任务，可以帮助智能系统在复杂环境中做出明智的决策。然而，由于任务规划无法考虑执行层面的细节，它可能需要与运动规划等其他技术结合，以确保任务的成功执行。

2）运动规划则为具身智能系统提供了执行任务的实际行动方案。通过处理机器人的运动学与动力学信息，运动规划可以确保机器人能够以安全和有效的方式执行任务。然而，对于复杂的任务和多步骤任务，运动规划可能面临挑战，因为需要考虑多个步骤之间的关系和协调。

3）任务规划和运动规划在具身智能领域都扮演着重要的角色，但存在问题：解空间不同，两者难以结合。

（3）触觉感知手套

1）要让具身智能体学习复杂的操作技能，关键在于捕捉和理解人手在操作过程中涉及的交互过程和细粒度的物理变化。

2）触觉感应手套：通过举例说明了在药瓶设计中的难点，即如何利用视觉捕捉手势和力的信息。解决方案是提出了触觉感应手套，通过IMU网络和力传感器捕捉手部的运动姿态和施加的力，从而更全面地反映人与物体交互过程。这种技术优势在于可以帮助机器人理解关键的“力”因素，并通过机器人技能学习方法学习这些任务。同时，这种方法也增强了人对机器人的信任。

（4）机器人动作决策的可解释性

1）对机器人打开药瓶的信任度，研究发现人们更倾向于信任那些提供综合和实时可视化决策过程的机器人，而不是简单的文字描述。这表明，直观且实时的视觉展示能够更有效地提升人们对机器人的信任感。

2）对于机器人下一步动作的预测，调查结果显示人们更愿意依靠机器人的内部决策过程进行预测，而不是仅仅依靠简单的文字描述。这表明，人们更相信机器人的决策过程是基于丰富的信息和综合考虑的，而不仅仅是基于简单的总结性文字。

（5）场景表征与机器人自身表征的结合

1）研究提出了一种将场景表征与机器人自身表征相结合的方法，用于统一自身表征的任务和运动规划。这种方法能够更好地理解环境并进行规划，但仍需要一定的人工定义和假设，对于抵抗噪音的能力相对较弱。

2）产生高质量4D数据：研究提出了一种方法来生成高质量的4D数据，其中包括模型和轨迹初始化。这为提供一个真实环境的测试和验证平台提供了可能。

3）缺点与挑战：尽管有了上述方法和技术，仍然存在一些挑战，包括对谓词和属性的人工定义、假设的局限性以及对抗噪音的能力相对较弱等。这些问题需要进一步研究和解决。