IEEE TRO 清华大学徐静教授团队提出基于无透镜成像的超薄视触觉传感器ThinTact

视触觉在机器人操作领域日益受到关注，然而现有传感器的厚度限制了其在空间受限环境中的应用。在大多数需要触觉感知的非结构化环境中，物体或设备通常适合人类指尖的尺寸范围——直径通常在15至20毫米之间。然而，视触觉传感器大多采用透镜系统进行成像，而透镜系统的厚度受制于最小焦距约束。这一限制严重制约了其潜在应用场景，例如在杂乱环境中的平行夹爪抓取、日常物品操作以及多指手集成等领域。
图1 ThinTact可以在更加狭窄的空间抓起物体

近日，清华大学徐静教授团队提出了一种新型无透镜视觉触觉传感器ThinTact，发表在IEEE Transactions on Robotics (T-RO)上，其传感面积超过200平方毫米，厚度小于10毫米。该传感器利用无透镜成像技术将接触信息映射为图像信号，提出了一种基于频域与空域联合滤波器（离散余弦变换DCT）的实时无透镜重建算法，开发了基于遗传算法的掩膜优化方法及相应的系统矩阵校准算法。
通过定性和定量实验验证了所提出的无透镜重建算法和触觉感知性能，展示其在纹理识别和狭小空间操作等不同应用场景中的实用价值，为相关领域的研究提供了一种新的研究思路。

图2 ThinTact的工作流程

为解决现有视觉触觉传感器中透镜系统固有的厚度限制，作者提出的方案采用无透镜成像技术捕获并映射接触信息至CMOS信号。它由透明弹性体、反射膜、可分离振幅掩膜、CMOS传感器及彩色LED组成。当物体接触传感器时，传感表面发生形变，为实时高效重建，作者提出一种新型非迭代重建算法，其速度比基于优化的重建算法快约1000倍。
实验发现当场景与CMOS间距较小时（本传感器工作条件），传统可分离掩膜的重建质量会显著下降。针对这一问题，作者提出掩膜优化算法，一旦重建出场景，即可通过光度立体视觉（photometric stereo）和标记跟踪（marker tracking）计算表面形变。图3 非迭代无透镜重建算法

触觉传感器的低厚度限制决定了需要使用近距离成像的T2S模型，而T2S模型难以解析求解，需要反复的迭代和大量的矩阵运算才能得到最终的结果，且收敛的判断条件较难调节。相比之下，传统成像模型有解析解，但只适用于成像距离较大的情况。为此徐静团队优化了重建模型，大幅缩短重建时间，使触觉传感器所需的实时重建成为可能。图3展示了本文提出的非迭代重建算法的完整重建流程。其中，观测图像𝒀是场景图像𝑿经过掩膜由图像传感器捕获的图像；经过所提出的频域—空域联合滤波器后，获得了编码成分含量少、主要由低频组成的欠编码成分𝒀o；用𝒀与𝒀o相减，即得到富编码成分𝒀c；最后使用解析求解法，得到最终的重建图像𝑿̂。
图4 优化掩膜和传统基于MLS的掩膜重建质量比较

在现有的基于可分离掩膜的无透镜成像系统中，掩膜通常是基于具有特定数学属性的序列设计的，例如最大长度序列（Maximum Length Sequence，MLS）。传统的掩膜设计不适用于近距离成像场景，导致重建的场景图像出现非均匀和低信噪比(Signal-to-Noise Ratio，SNR) 的现象。为此，作者提出使用遗传算法生成针对视触觉传感器优化的掩膜图案。由于遗传算法的时间消耗在很大程度上取决于每个个体的生成时间，因此本文直接从向量𝝋 生成对应的系统矩阵，从而显著加速了优化过程。图4展示了三个代表性的场景：第一行为纯白图像，第二行为从一个传统的 GelSight 传感器捕获的图像，第三行为 USAF-1951 分辨率板的图像（经过了一定的拉伸以适应无透镜相机的视野）。通过 PSNR 和 SSIM两个常用指标对重建图像的质量进行评估，也在图中进行了展示。
图5 ThinTact抓取试管

使用ThinTact进行感知与反馈控制，其能够完成如精密插入试管等任务。实验场景中，试管直径为20毫米，孔径22毫米，试管间间距仅12毫米，孔内间隙为1毫米。通过分析传感器位移数据并拟合力作用方向，随后反向调整夹具姿态，使试管精确插入孔位。
在本研究中提出的一种基于无透镜成像技术的超薄型视觉触觉传感器，其感测面积显著大于传统设计。大量实验证明，该传感器能够实时重建接触几何形状、识别物体纹理，并完成多种日常物体的操控任务。其性能与传统GelSight类传感器相当，但厚度显著降低（小于10毫米），从而更适合集成到机器人系统中及狭小空间应用。