The Feeling of Success: Does Touch Sensing Help Predict Grasp Outcomes?

CoRL 2017 1th
原文地址
作者：Roberto Calandra

1. Introduction

• 触觉传感器的发展比较慢，价格和灵敏度等问题；没有集成到标准的控制模块中。
• 触觉传感器比较难用，无论多么好的模型，一个小误差或者校准不准确都会极大的影响抓取的性能。

• 这篇论文的目的是回答触觉传感器是否能够用在抓取中。结论：触觉传感器对于抓取有明显（substantially）的提升
• 问题的关键在于如何搭建触觉和视觉相结合的框架。

2. related work

learning to grasp ：传统采用视觉抓取的方式有不足。
Tactile sensors in grasping：前期也有人做过基于触觉传感器的抓取研究，本文是第一次提出采用end-to-end training of models
（没看懂这种方式）来处理这个问题。
The GelSight sensor：MIT研制的触觉传感器，通过接触物体，会产生变形（位移），后通过摄像头捕捉到这种变形。以2D图片的形式来表征触觉信号。

采用ResNet-50 结构

3. Predicting Successful Grasps from Vision and Touch Consider

• 在抓取过程中，视觉和触觉可以起到互补的作用。视觉用于给出抓取的合适姿态；触觉可以判断抓取物体是否为刚体、它的表面特征等，使得它不容易滑落。
• Y表示抓取是否成功。F通过卷积网格训练。

• 介绍了采用的卷积网络结构。
Training the network ：介绍了训练网络过程的一些配置情况

4. Grasping with Vision and Touch

• 介绍实验的情况。
• 该模型需要在接触物体后才能进行预测。所以一开始机械手会随机选择满足gripper closures要求的抓取点进行抓取；然后对每次抓取的结果进行预测，选择预测值最高的那个点进行抓取（但预测值达到0.9才进行抓取）。

• 在每一次抓取过程中，随机选择一组抓取参数（决定末端执行器的姿态和力的大小），然后进行预测。

• 理论上，如果没有符合要求的抓取点，程序可能会一直跑下去，但是在实际实验中，大多是情况几分钟就能完成一次实验。

5. Experimental Setting & Data Collection

• 介绍了实验设备，两指加持器左右各安装了一个触觉传感器（GelSight）24x18mm，采用频率为30Hz，生成图片。在手臂前端有一个Kinect(RGB –D)相机。但是在实验中只用到RGB的图像（对比实验中用到了（depth））
• 介绍了数据集的制作过程

6. Experimental Results

• 视觉和触觉结合的抓取方式效果要好。有对照实验。

• 视觉和触觉结合的抓取方式泛化能力也比其他的效果要好。作者选了12个训练集和测试集都没有出现的物体进行抓取测试，来验证这件事。
• 对于直接采用视觉抓取的方式，会有夹持器一端碰到物体，另一端没有碰到物体，就开始抓取的情况发生。视触融合的方式就不会。

7. Discussion and Future Work

• 模型设置了一种拒绝机制（rejection mechanism），只有满足一定成功概率后才会抓取，可能会造成抓取尝试次数过多的问题。
• 初始的抓取参数设置是随机的。大多是情况两到三次就会完成，但是会有抓取很多次才成功的情况。
• 没有考虑抓取后再空中的情况发生。比如滑落等现象。
• 没有充分利用触觉的信息。