视触融合项目研究

文献阅读

视触融合的物体分类方法研究——白露

1.特征提取网络选取
触觉特征提取：以四层一维卷积为主干网络的 TactileNet.
视觉特征提取: AlexNet网络每两次抓取过程切分为一个独立的触觉信号.
2.数据集：制作了视觉-触觉形容词数据集 VHAC-52。该数据集包含 52 类常见物体的视觉、触觉数据以及 14 个用于描述物体的视觉、触觉属性形容词。相较于 PHAC-2 和 VHAC 数据集，该数据集提供了关于物体更为丰富和全面的信息，数据集大致如下：

3.分类模型选择：基于自适应特征加权的视触融合物体分类方法。该方法采用通道注意力机制自适应地校准通道之间的特征响应，实现了对重要信息的增强。
4.实验过程，用机械臂抓起物体，翻转移动收集图像以及压力数据。通过模型输出物体的标签，包括视觉的标签和触觉的标签。最后将物体分类。

基于视触感知的机器人智能抓取关键技术研究——赵阳

1.提出了基于视觉感知与轻量化全卷积网络的抓取位姿检测算法，在 Cornell 和 Jacquard 抓取数据集上对抓取检测网络检验及对比分析
2.提出了基于视触融合感知与多模态时空卷积的抓取稳定性分析方法。
他的引言：“在抓取过程中面对干扰或误差的影响下，机器人在执行抓取任务时需要保持稳定的抓取姿态和夹持力，从而确保抓取成功率和抓取稳定性。抓取稳定性分析有助于提高机器人的抓取成功率和工作效率，通过对物体、机器人手和环境等进行建模和仿真，可以评估机器人手在抓取物体时的稳定性，找出可能存在的问题和优化方案，因此，抓取稳定性分析对机器人抓取任务的高效成功实现具有重要的作用。”
3.基于触觉图元滑移特征反馈的重抓取优化。
他的引言：“基于视觉的抓取检测方法通常依赖物体的尺寸、纹理、颜色等信息来获取抓取位姿，但无法感知被抓取物体的接触表面特性、质心位姿变化信息以及接触力的变化，以及抓取过程中物体与夹爪相对运动状态等信息，无法对现有的抓取配置做出评估及反馈。因此，当发生不稳定抓取现象时，需要对视觉推理出的抓取位姿进行进一步优化，以满足稳定性、安全性和效率性等方面的要求。针对上述问题，本章提出基于触觉图元滑移特征反馈的重抓取优化策略”

面向空间机械臂的视触融合目标识别系统——沈书馨

1.系统构成：空间机械臂目标识别系统的基本模块主要包括：Ｓｃｈｕｎｋ ＬＷＡ ４Ｄ 型七自由度机械臂、ＢａｒｒｅｔｔＢＨ８－２８２ 型三指灵巧手、Ｋｉｎｅｃｔ 深度相机以及基于 ＲＯＳ（Ｒｏｂｏｔ Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）机器人操作系统的控制与识别系统，如图所示：

系统工作描述：系统通过点云定位、路径
规划实现空间机械臂对目标物视觉及触觉信息的自主采集，利用深度学习在特征提取和数据融合方面的优势，通过 ＣＮＮ⁃ＧＲＵ 网络对视觉信息和触觉时序信息进行特征提取融合，最终实现对目标物的识别。如图所示：

2.目标定位与视触觉数据采集
目标定位：基于点云的目标定位与路径规划，获取相机坐标系下的目标物位姿信息，选择 ＲＯＳ 系统中运动规划库 ＯＭＰＬ （ ｔｈｅＯｐｅｎ Ｍｏｔｉｏｎ Ｐｌａｎｎｉｎｇ Ｌｉｂｒａｒｙ）内置的快速扩展随机树（Ｒａｐｉｄｌｙ Ｅｘｐｌｏｒｉｎｇ Ｒａｎｄｏｍ Ｔｒｅｅ，ＲＲＴ） 算法作为本系统中的路径规划模块。
触觉数据采集：触觉数据采用 Ｂａｒｒｅｔｔ 灵巧手指尖搭载的阵列式触觉传感器采集，如图 ４ 所示。 灵巧手每个指尖部位安装有独立的触觉传感阵列，每个阵列包含 ２４ 个采集通道。 由控制系统根据目标物位姿信息自主规划，引导机械臂和灵巧手完成抓取动作，采集抓握过程中的触觉信号。
触觉数据预处理：触觉数据的处理过程主要包括平滑滤波、降维、拼接、滑动窗口采样以及归一化。
3. 视触融合神经网络模型—— ＣＮＮ⁃ＧＲＵ 模型，如图：

基于机器视觉与触觉感知融合的物体描述研究——周茂辉

给我感觉应该是和第一个相同，第一个结合本文做了改进。

视触觉传感器融合应用研究现状——尹宝凡

1.物体分类与识别
在机器视觉领域，物体分类与识别已经获得较好的效果。目前，基于触觉信息的物体识别也取得一些进展，研究发现，结合视触觉信息将进一步提高物体分类与识别效果。视触觉信息融合的物体识别不仅仅要求准确性与快速性，对识别物体的多种物理特性(如：表面粗超度，硬度等)的分析将会是未来的重要方向。
2.三维感知与重建
抓取未知物体是智能机器人面临的一大挑战[19]。在真实场景中，抓取只是一系列更复杂对象操作动作中的第一步。为了对物体操作步骤进行合理规划，建立三维模型是必要的。触觉能精确感知局部信息，而视觉则能提供互补的全局信息，因此融合视触觉信息的三维物体重建比单一模态的效果更好。然而，由于触觉传感器只能局部的感知信息，对于复杂三维曲面的重建需要采集大量的数据，并且还要匹配视觉信息。
3.机器人抓取
只依赖单一的传感信息实现机器人精确抓取是个重要挑战。融合视触觉信息的传感系统通过视觉传感器提供全局信息进行预测与路径规划，通过触觉传感器提供的局部信息进行精确操作。机器人抓取目前已经取得了一定的进展，但主要处理简单的任务，对于协助人类或者独立完成复杂任务的机器人鲜见报道。