所见即所触，教AI实现触觉和视觉的信息交互

大数据文摘出品

来源：MIT

编译：楚阳

 

在加拿大作家玛格丽特•阿特伍德的著作《盲人杀手》中有这样一段描述：“触觉，先于视觉也先于语言，既是第一语言也是最后的语言，并总是诉说真相。”

 

触觉使我们可以感受世界，而视觉帮助我们了解其全貌。

 

被编写为视觉或者触觉的机器人一般不能实现此两种感官信息的交互。为打破这种隔绝，来自MIT（麻省理工学院）CSAIL（计算机科学与人工智能实验室）的研究团队提出了一种可预测AI，它可以通过触觉信息的训练学习到视觉特征，反之亦然，也能通过视觉信息的训练学习到物体的触觉特征。

 

该团队所提出的模型可以从视觉信号中“创造”出逼真的触觉信号，并直接利用触觉信息预测所检测目标及触摸部位。他们使用的库卡机械臂上装有一个特殊的触觉传感器GelSight，这是由MIT的另一研究团队设计的。

 

相关链接：

http://news.mit.edu/2011/tactile-imaging-gelsight-0809

 

该团队利用一个简单的网络摄像头采集了近200种物体图像，包括工具、家庭用品、纺织物等，这些物体被“触摸”超过12000次。通过将这12000个小视频分解为静态帧从而生成了名为“VisGel”的数据集，该数据集包含300多万个视觉-触觉对应的图像。