卡内基梅隆大学最新研究——使用“耳朵”，而不仅仅是“眼睛”，来提高机器人的感知能力

机器人用听觉感知物体

虽然人类依靠多种感觉来理解世界，但机器人通常只依靠视觉或触觉。卡内基梅隆大学的研究人员发现，通过增加另一种感觉：听觉，机器人的感知能力可以显著提高。

CMU机器人研究所的研究人员声称，这是对声音与机器人动作之间相互作用的首次大规模研究。他们发现，机器人可以利用声音来区分物体，比如金属螺丝刀和金属扳手。

听觉还可以帮助机器人确定什么样的动作会引起声音，并帮助他们利用声音来预测新物体的物理属性。

听觉对机器人感知能力的提升超出预期
“其他领域的大量前期工作表明，声音可能有用，但尚不清楚它在机器人技术中的用处，”Lerrel Pinto说，他最近在CMU获得机器人学博士学位，并将于今年秋天加入纽约大学的教员。他和他的同事们发现，使用听觉的机器人在76%的时间里成功地将物体分类。

结果是如此令人鼓舞。他补充说，将来为机器人配备仪表棒可能会很有用，使他们能够轻敲他们想要识别的物体。

研究人员在上个月的虚拟机器人科学与系统会议上介绍了他们的发现。团队的其他成员包括机器人学副教授Abhinav Gupta，以及前硕士研究生Dhiraj Gandhi，他现在是Facebook AI Research匹兹堡实验室的研究科学家。国防高级研究计划局和海军研究办公室也支持这项研究。

构建一个数据集
为了进行研究，研究人员创建了一个大型数据集，同时记录了60个常见物体的视频和音频，这些物体包括玩具块、手动工具、鞋子、苹果和网球等，它们在托盘上滑动或滚动时撞向托盘侧面。他们已经发布了这个听力数据集，记录了15000次互动，以供其他研究人员使用。

该团队使用一种称为Tilt-Bot的实验设备（与Sawyer机器人的手臂相连的方形托盘）捕获了这些互动，这是构建大型数据集的有效方法。他们可以在托盘中放置一个物体，在摄像机和麦克风记录下每个动作的过程中，让Sawyer花几个小时沿随机方向以不同的倾斜度移动托盘。

他们还使用Sawyer将物体推出托盘表面，从而在托盘之外收集了一些数据。

尽管此数据集的规模是空前的，但其他研究人员还研究了智能主体如何从声音中收集信息。例如，机器人学助理教授Oliver Kroemer领导了一项研究，即使用声音感应通过摇晃容器或估计勺子中的物料流量来估算大米或面食等颗粒物料的数量。

Pinto说，机器人听觉的有用性并不令人惊讶，尽管他和其他人都惊讶于它被证明是多么有用。例如，他们发现，机器人可以利用所学的一组物体的声音来预测先前看不见的物体的物理属性。

他说：“更令人兴奋的是，它只会在不能用声音判断的物理属性方面失败 ”。例如，一个机器人不能用声音来区分红色的方块还是绿色的方块。Pinto说：“但如果它是一个不同的物体，比如一个木块和一个杯子，它就可以通过声音判断”
编者注：本文是由卡内基梅隆大学提供并发布。

瑞森可机器人致力于：
让科研充满想象，让每个学生都能热爱机器人技术
让制造充满乐趣，让每个人都能成为机器人应用专家
我们正努力让机器人成为人类最亲密的合作伙伴。