Sensors and Actuators A: Physical 改进成像调节系统的视触觉传感器_图像处理与图像识别可以投递至sensors and actuators a吗?-CSDN博客

本文链接：https://blog.csdn.net/weixin_44887311/article/details/139401921

基于视觉的触觉传感器(VTS)的成像鲁棒性取决于涂层的耐磨性和成像稳定性。随着传感器的小型化，有限的成像空间无法对接触深度变化引起的成像偏差提供缓冲。

本文提出了一种改进的基于视觉的薄触觉传感器(VTTS)，又称基于视觉的触觉皮肤，其集成了可调焦相机和成像调节系统(IAS)，以提高成像鲁棒性。IAS包含成像校准系统和聚焦系统。由于视触觉传感是在相对稳定和封闭的成像环境中进行的，因此基于图像的聚焦方法与触觉成像是天然匹配的。

本文设计了一种基于全局搜索的成像标定系统，用于确定调焦间隔，缩短调焦范围。针对低频以及高频的成像调整，提出了基于三点拟合的聚焦深度(TPF-DFF)和基于深度学习的离焦深度(DL-DFD)。实验结果表明，IAS-VTTS具有接近100 %的调节精度，最快聚焦时间可达40 ms。因此，IAS-VTTS能够适应不同的形变深度，支持高质量的触觉成像。

1.基于视觉的触觉皮肤（VTTS）

VTTS由拉丝涂层、弹性体、亚克力透镜、柔性LED条、微型相机和传感器底座部分。其中弹性体由透明亚克力胶带通过层积工艺制备；涂层由金属箔制成，通过贴金工艺附着在弹性体上。亚克力透镜的尺寸为30 mm×25 mm×3 mm，通过3D打印或批量定制的方式制造得来；柔性LED具有柔软、轻薄、围绕弹性体的特点。传感器框架采用黑色树脂3D打印。
在这里插入图片描述

图1 成像偏差分析

2.成像调节系统(IAS)

图像是VTTS中触觉信息的载体。准确聚焦是图像调整的关键。基于图像的聚焦不依赖于其他设备。图像识别算法可以嵌入到图像处理模块中，提高传感器硬件的集成度。视觉-触觉传感具有稳定的成像条件。由于外界环境的多样性，其成像要求通过长时间的迭代和搜索来确定最佳成像参数。上述策略显然不能满足触觉检测的需求。基于图像的聚焦重点在于搜索方法的优化和清晰度评价函数的匹配。针对视触觉感知的封闭性，本文引入IAS对其进行匹配。IAS的性能取决于计算效率和搜索次数。首先通过图像标定确定聚焦间隔。然后，以最少的迭代次数完成调整。

在这里插入图片描述

图2 成像调节系统

2.1成像标定系统

在离焦判断阶段，标定和聚焦是不同的。标定不需要判断图像是否模糊，而是需要找到全局最优聚焦点。系统遍历整个聚焦范围并计算清晰度值，其中清晰度最高对应的聚焦点为最优聚焦点。

在这里插入图片描述

图3 成像标定系统和调焦系统

成像标定系统可以帮助相机调整到初始状态下的最优成像，并根据初始值确定调焦区间。本文希望尽可能地缩短聚焦范围，这样可以减少迭代次数，加快聚焦效率。在对焦测试中，对每一帧进行标定，输出真值清晰度作为判断对焦精度的基线。而现有得成像标定系统不适合聚焦，它无法避免聚焦阶段的无效搜索。因此，本文需要研制一套基于成像标定系统的调焦系统。

2.2调焦系统

基于图像的调焦方法需要OpenCV来采集图像、读取图像、计算成像清晰度、获取焦距、控制调焦。当系统判断图像失焦时，控制镜头的运动来调节镜头与成像传感器之间的距离。当镜头移动到正确的位置(最佳聚焦点)时，光线可以精确地聚焦在成像传感器上，形成清晰的图像。OpenCV根据可调焦相机内部参数获取焦距范围。

与复杂环境成像不同，触觉成像的背景固定，成像形式稳定。因此，触觉成像的清晰度评价曲线呈现较为规则的分布。经过图像标定后，最优聚焦点附近曲线的单调性相对稳定。当满足无偏性和单峰特性时，极大值点(最优聚焦点)的位置更加准确。如果直接从初始图像中预测离焦量，这种端到端的调整方法可以在多帧图像采集中节省时间。DFD通过数学模型从散焦图像中计算出成像系统的散焦量。深度学习可以降低模型建立的难度。然而，触觉成像的多样性和部分外部光照可能会影响模型的泛化性。综合考虑聚焦效率和聚焦难度，本文采用浅层网络( VGG-11 )作为网络主干。

在这里插入图片描述

图4 DL-DFD模型

3.实验与结果

3.1清晰度评价曲线分析

清晰度评价曲线接近理想评价曲线，反映了触觉成像的高稳定性。与复杂环境下的成像相比，触觉成像的封闭性降低了环境因素的干扰。相应地，这一优势凸显了基于图像的聚焦方法与触觉成像的高度匹配性。最大值附近的曲线近似于抛物线，因此可以对曲线进行拟合，推断最佳聚焦点。

在这里插入图片描述

图5 清晰度评价曲线

3.2成像标定实验

图像标定系统可以将任意一幅离焦图像调整到最佳成像。在轻微的压力下，当初始成像未标定时，大多数触觉图像严重模糊。经过校准的触觉成像确保了成像的清晰度介于锐利和稍失焦之间。结果表明图像标定系统缩短了调焦范围，为后续调焦提供了便利。

在这里插入图片描述

图6 成像标定测试

3.3调焦精度测试

为了测试TPF - DFF和DL - DFD的聚焦精度，本测试部分选取了三个测试对象，分别是圆柱体、指纹和织物。由于纹理精细度的不同，图像的模糊状态不同，这在一定程度上反映了聚焦方法对图像清晰度的敏感程度。在测试过程中，本文对随机抽取的100个样本进行了评估。TPF - DFF受导入焦点偏离最佳聚焦点的影响。DL - DFD直接输出最优聚焦点，无需微调。由于DL - DFD预测了一个聚焦区间，清晰度评价的波动略高于TPF - DFF。
在这里插入图片描述