CMU科学家们带一群机器人开房，并收集了28,000种不同的姿势

机械栗 发自 凹非寺 
量子位 出品 | 公众号 QbitAI



来自卡耐基梅隆大学 (CMU) 的四个科学家，在一篇论文里说，他们带着一群机器人去住Airbnb了。

也不知道，近来忙于应付纽约市政府的Airbnb，能不能感受到这一缕清风。

回归正片，研究人员自然不是请机器人去度假。

他们觉得，机器人常年待在实验室里，生活场景很单调，和现实也有差距。



这样的话，训练出来的技能，很难推广到真实世界里去。

只能在实验室做任务的机器人，也不是CMU的人类们想要的。

“经济适用”机

团队决定，让机器人参与更多的实战，培养它们泛化能力。



于是，人们先造了一批“便宜”的机器人，就是把Dobot Magician机械臂改造了一下——

加上了双轴手腕，两指电动夹具，还有移动底座。

传感器方面，配置了英特尔R200 RGB摄像头，以及帮摄像头转脖子的云台。



至于机器人的大脑，笔记本而已，CPU是i5-8250U，RAM有8G。

研究人员说，每台“只要”三千美元，比别的 (两万美元的) 机器人经济多了。

“经济适用”房

然后，带机器人去开房。

△ 仔细选择的不同环境

研究人员先在Airbnb上，开了六套房，是收集真实数据用的。

就像刚才说的，只用实验室环境里的数据来训练，就不是真正的训练。

他们用Yolo模型做物体检测，然后用“Robust-Grasp (鲁棒抓取) ”神经网络结构 (详见下文) ，来算出最佳的抓取姿势。



就这样，一共收集了28,000种不同的姿势。

自制的数据集，取名为Home-LCA，后面三个字母，指的是“便宜的机械臂”。

机智的决策

刚才，简要登场的“Robust-Grasp”神经网络，就是机器人做出机智抓取决策的关键。



结构分成三部分——

一是抓取预测网络 (GPN) ，这里用的是训练好的ResNet-18。吃进像素图 (Pixel Imagery) ，再决定用什么姿势抓取。

不过，用了便宜的机器人，收集的数据会有很多噪音，所以……

二是噪音建模网络 (NMN) ，根据场景图像和机器人获取的信息这两组数据，把噪音分离出去。

三是边缘化层 (Marginalization Layer) ，把两股数据流结合起来，以便给出更好的决策。



团队用自制的Home-LCA数据集，训练了这个网络，也用两个实验室数据集做陪练，看哪边效果好。

实战派vs温室派

训练完成之后，研究人员又在Airbnb上面，另外开了3套房，作为赛场。

所以说，赛前谁都没有到过这些地方。



△ 不知文中为何只有两间测试房的照片

真正的抓取比赛开始了，参赛双方分别是：

实战派，用Home-LCA训练的AI。

温室派，用Lab-Baxter训练的AI。

△ 三个新房子

同在陌生的环境里，抓取陌生的物体，实战派机器人的成功率远远超过温室派。

这并不意外，毕竟在那之前，选手们还进行了另外一项比赛——

机器人做随性抓取，AI来预测能不能抓取成功 (依靠位置和角度) 。

△ 横向对比，当训练集与测试集来源不同，便知其泛化能力

结果，用Home-LCA数据集训练的模型，在接受其他两个数据集的测试时，预测正确率并没有明显差异，一直保持在70%上下 (见第3、5行) 。

而用Lab-Baxter和Lab-LCA数据集训练的模型，换其他数据集测试，预测正确率便会从70%左右，下降至55%左右 (见第1、2、4行) 。

△ 占卜婆婆

也就是说，实战派处变不惊，泛化能力稳胜一筹。

野生，野长

果然，从模型训练开始，就不能对机器人太温柔。

不管是在模拟器里修炼的机器人，还是用实验室数据喂养的机器人，都容易对外界的艰险适应不能。

△ 到外面去吧

采集真实世界的数据，来训练机器人的实际操作技能，它们便不会被困在实验室里，寸步难行。

大概，这就是CMU在机器人能力的泛化上，为同仁们提供的一个思路吧。

论文传送门：

https://arxiv.org/pdf/1807.07049.pdf

— 完 —

加入社群

量子位AI社群18群开始招募啦，欢迎对AI感兴趣的同学，加小助手微信qbitbot8入群；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进群请加小助手微信号qbitbot8，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）

实习生招聘

量子位正在招募活动运营实习生，策划执行AI明星公司CEO、高管等参与的线上/线下活动，有机会与AI行业大牛直接交流。工作地点在北京中关村。简历欢迎投递到quxin@qbitai.com

具体细节，请在量子位公众号(QbitAI)对话界面，回复“实习生”三个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态