机器人视觉听觉融合的感知操作系统

摘要: 智能机器人面对复杂环境的操作能力一直是机器人应用领域研究的前沿问题，指称表达是人类对指定对象定位通用的表述方式，因此这种方式常被利用到机器人的交互当中，但是单一视觉模态并不足以满足现实世界中的所有任务。因此本文构建了一种基于视觉和听觉融合的机器人感知操作系统，该系统利用深度学习算法的模型实现了机器人的视觉感知和听觉感知，捕获自然语言操作指令和场景信息用于机器人的视觉定位，并为此收集了12类的声音信号数据用于音频识别。实验结果表明：该系统集成在UR机器人上有良好的视觉定位和音频预测能力，并最终实现了基于指令的视听操作任务，且验证了视听数据优于单一模态数据的表达能力。

• 关键词: 
• 视觉定位  /  
• 音频识别  /  
• 深度学习  /  
• 视觉感知  /  
• 听觉感知  /  
• 视听融合  /  
• 多模态数据  /  
• 主动操作  

机器人正在逐渐进入人类的生活当中，为了有效地帮助人类，机器人必须尽可能地学习人类的各项能力，包括用视觉感知去观察世界、理解人类的自然语言指令，甚至借助听觉、触觉等获取多模态的信息感受物理世界以进行更多复杂的任务。随着人工智能技术的不断发展，在视觉识别[1-2]、自然语言系统[3-4]、三维场景建模[5-6]、操作抓取以及运动规划[7-8]方面都取得了极大的进展，使得各种先进的计算模型能够部署在机器人上帮助其更加智能化，从而高效稳定地辅助人类完成更加复杂困难的任务。如最先进的具身指示表达的机器人导航任务(remote embodied visual referring expression in real indoor environments, REVERIE)