研究综述分享：面向机器人灵巧操作的感知

机器人灵巧手触觉感知一直是机器人研究的一个热点问题。灵巧操作要求灵巧手能够准确地反馈自己的状态并感知周围环境。国际期刊IJARS发表了面向机器人灵巧操作的感知研究综述。

根据传感器在机械手中的作用和布局，首先介绍了两种类型的传感器，即灵巧手内部感知传感器和外部感知传感器。这些传感器为机械手提供了丰富的信息：包括姿态、物体的接触信息和环境的物理信息。然后，综合分析了用于灵巧手的感知方法，将其分为三个等级：规划级（planning level）、控制级(control level)和学习级(learning level)感知。最终对触觉感知领域的一些潜在研究方向进行了总结和讨论。文章整体框架如图1所示。

图1 用于灵巧手的感知，感知方法及其操作

1、用于灵巧手的传感器及其分类
灵巧操作的实现需要机器人双手感知外部环境信息和自身状态。传感器按其在机械手中的布局可分为内传感器和外传感器两大类。图2分别介绍了两种传感器在灵巧手中的分类。

图2 灵巧手传感器分类

1.1 灵巧手内部感知传感器
内部传感器用于反馈机械手自身的位置或力等状态信息。这两种信息是机械手不可缺少的部分。在机械系统的装配过程中，由于存在各种误差，实际传动部分可能会受到这些误差的影响。因此需要内在传感器使机械手更好地了解自己的状态。三种典型的内部传感器包括位置传感器、弯曲传感器和张力传感器。

位置传感器。由于机械手关节空间小，对关节传感器的体积要求较高。根据不同的原理，提出了多种关节传感器。在早期，关节位置通常由霍尔效应传感器测量，如Cyber hand,21，并在每个关节上安装8个霍尔效应传感器。另外，通过改变霍尔传感器的结构，可以很好地测量关节角Palli和Pirozzi18为机器人手指设计了一种光学角度位置传感器。Petkovic等人23利用导电硅橡胶设计了一种被动柔性机器人关节，它不仅可以测量关节角度，还可以作为阻尼器来保护关节。霍尔效应传感器也可以测量电机的位置。

弯曲传感器。对于肌腱驱动的机械手，肌腱的位移总是随着腱鞘形状的变化而变化。它被认为是一种可能导致控制精度下降的位置误差。在这种情况下，仅利用肌腱的张力信息来控制机器人可能会产生误差。为了解决这一问题，研究者发明了可以测量护套弯曲角度的弯曲传感器。该弯曲传感器具有高分辨率和大弯曲传感范围的特点。在随后的工作中，他们结合弯曲传感器，提出了一种新颖的补偿波登索结构输出力非线性变化的方法。无需直接测量输出张力，即可精确控制腱缆的张力。

关节扭矩传感器。DLR手27配备了测量关节扭矩的应变计和测量关节位置的电位计。在随后的DLR手II中，28作者使用霍尔效应传感器代替电位器来测量关节位置。Shadow手的每个手指都配备了一个关节扭矩传感器。传感器支持手，实现精确操作。Tsetserukou等人提出了一种光学关节扭矩传感器来取代应变片。利用该传感器，提出了一种基于位置的灵巧抓取局部阻抗控制方法。

张力传感器。肌腱只能提供一个方向的力，在肌腱路径上的摩擦损失很难用精确的数学模型来建立。研究人员通常使用张力传感器来测量肌腱张力。Salisbury和Craig31在手指的每个底部都放置了一个应变片，作为电缆张力传感机构，实现了斯坦福-喷气推进实验室的手的力控制。此外，基于每根索的张力信息，他们提出了几种位置和力控制结构。随着光电传感器的发展，一些工作将其应用于张力测量。

1.2 灵巧手外部感知传感器
外部传感器是机器人获取周围环境信息的必要部件。当面对未知的环境和物体时，外部传感器具有足够的安全性和可操作性。为了实现灵巧操作，机械手需要在操作前阶段靠近目标物体，在操作阶段用手形对目标物体进行操作。因此，在操作前阶段，使用近端传感器来检测物体与机械手之间的距离。当机械手接触到物体时，触觉传感器用于提供物体的物理信息和接触力。在本节中，我们将讨论三种外部传感器：近端传感器、触觉传感器和多模态传感器，它们广泛用于灵巧操作。

接近觉传感器
在抓取或操作物体之前，近端传感器通常用于为机器人提供探测物体表面和物体与机械手之间的相对位置的能力。对人类来说，这种能力通常是由视觉反馈提供的，但对机器人来说，这种能力可以由近距离传感器提供。有了近距离传感器，机械手可以在操作前估计物体的位置、形状和其他物理信息。对于灵巧操作来说，提前知道这个信息可以提高操作的成功率。
触觉传感器
对于人的手，触觉系统可以提供丰富的信息，如力度、纹理、温度、被抓物体的硬度等。人类双手的灵巧取决于它们复杂的结构和强大的感觉系统。考虑到触觉信息对灵巧操作的重要性，研究者们一直致力于制造能够实现人手大部分功能的灵巧手。本部分简要回顾了触觉传感器的发展，为以后的感知方法做了铺垫。

在早期阶段，触觉传感器研究的主要方向是压力和力的测量。此外，几乎所有的机械手都将配备这些传感器。这类传感器通常安装在指尖，以测量多维力。这些传感器的共同原理是压电效应。虽然这种类型的传感器可以检测力的方向，但对于检测接触位置不是那么可靠。逐渐地，更多的研究集中在阵列触觉传感器上。

多阵列触觉传感器是为触觉传感研究而设计的。目前大多数机器人的手都配备了属于这一类的传感器。目前商用触觉传感器很多都是这类传感器，其中最具代表性的是syntouch公司设计的BioTac传感器51。此外，许多研究者也对这类传感器进行了研究。GelForce传感器52是一种手指形状的触觉传感器，适用于机器人的双手。此外，它可以很容易地集成到机械手中进行抓取等操作。

多阵列触觉传感器通常感知单模态信息。然而，当人们抓住一个物体时，它的重量、大小、温度、纹理等会同时被感知。人类灵巧操作的能力就是基于这种感知。机械手同时获得多模态触觉信息也很重要。一般情况下，多个单模态传感器获得的触觉特征是相互独立的。对于机器人来说，这不利于建立各种触觉特征之间的内在联系。

为了应对这一挑战，提出了一种可以同时获得多种触觉信息的多模态传感器，例如，基于摄像头的光导板传感器可以检测接触位置和力它还可以与弹性体标记结合，以反馈多维力另一个典型的多模态触觉传感器是BioTac，它可以提供关于接触力、微振动和与外部物体接触引起的热通量的信息灵巧的操作需要同时处理和获取多条信息。

触觉传感器用于实时传输与物体的接触信息。控制器可以通过触觉信息的反馈测量抓取质量，防止滑动。一些复杂的手操作也依赖于触觉传感器的协作然而，传感器传输的信息不够丰富。从复杂的机械手信息中提取有效的信息仍然是一个具有挑战性的问题。此外，对于触觉传感器本身，目前的研究方向是:柔软、轻薄、可拉伸、轻量化。目的是使传感器很好地贴合到机器人的手表面，而不影响机动性或接触时的状态。

2、感知方法及其分类
本节讨论了感知方法，即对感知信息进行处理以完成灵巧操作任务。通过感知获得的信息可以帮助机器人进行有效的决策。为了对物体进行操作，可以采用规划、控制和学习等不同的方法来计算机器人灵巧手的运动和控制解。相应的，感知方法被分为三组:计划级、控制级和学习级感知，如图3所示。

规划级（planning level）。灵巧操作规划涉及机器人运动序列的生成，以满足任务要求和避免与障碍物的碰撞。在规划层面，触觉感知被用来反馈关于物体和周围环境的信息。例如，重建物体的形状，识别物体的材质。

控制级(control level)。机器人手的灵巧操纵控制是驱动其手指操作目标物体，实现目
标姿态。在这个层次上，触觉感知提供了用于机器人手部运动反馈和调整的信息，如调整抓取姿态和力。

学习级（learning level）。近年来，先进的机器学习方法使机器人能够自动学习和获得操作技能，解决了传统规划方法的缺陷。在学习层面，机器人通常通过与环境的直接交互来感知状态信息，然后选择正确的动作来实现学习目标。

图3 三个层次的触觉感知。

2.1 规划级触觉感知
2.1.1 基于触觉探测的物体模型重建
灵巧手面临的主要挑战之一是如何利用触觉信息重建精确的物体模型。一般来说，视觉摄像机能提供物体的大部分形状信息然而，人类可以在不依赖视觉信息的情况下执行探索任务，例如，从包中取出手机或钥匙。在这个过程中，人类可以在很短的时间内找到自己需要的东西，甚至不需要观察包裹中的物体。迄今为止，大多数机械手在结构化环境中表现出良好的性能，比如在工厂装配线上使用的机械手。然而，在非结构化环境中，目前的机械手还不够“智能”。由于感知信息的缺乏会导致作业的不稳定性，这就促使研究者探索新的勘探方法。

越来越多的研究开始关注触觉的探索和识别物体形状为灵巧操作提供了有用的信息。例如，物体的几何模型决定了抓取点的选择。因此，对象模型重建是一个被广泛研究的问题。同时，在建立的表面模型的基础上，引入位姿检测算法来估计未知目标的位姿。触觉信息只能提供局部的联系信息。因此，仅利用触觉接触信息来获得精确的物体三维模型通常是繁琐的。已经有一些方法将触觉与其他传感器结合起来，来探索物体。

2.1.2 接触物体材料识别
人类可以通过触觉来识别物体的材质，而金属、玻璃、木材等材料则很容易通过触觉来识别。识别材料的能力为人类操作物体奠定了基础。即使物体的体积相似，人类也会通过区分材质来使用不同的力量来操纵物体。这种能力对机械手也很重要。当抓取一个玻璃杯子和一个金属杯子时，机器人应该知道操作每个杯子要用多大的力。因此，材料分类能力是灵巧操作的必要条件。

材料可以直接根据不同的触觉信号进行分类。早期的研究人员试图利用触觉来建立物体的表征。使用机器学习技术训练机器人通过触觉信号学习触觉特性，然后将这种理解推广到之前没有感觉的物体上。这表明机器人的触觉感知可以与人类的主观标签相关，并为未来的材料分类工作奠定了基础。Chin等利用机械手与物体之间的接触力和压力信息，利用排序算法对金属、纸张和塑料进行检测。目前，深度神经网络(DNN)是最常用的材料分类方法，分类结果的准确性相对较高。然而，这种方法通常依赖于大量数据进行训练。一般来说，使用更丰富的触觉信息能更准确地识别物体的材质和质地此外，视觉和触觉特征的结合可以更好地描述物体的质感。

了解物体的特性是灵巧操作物体的先决条件。仅仅依靠触觉，人类就可以进行一些灵巧的操作或使用工具。然而，现在机器人很难做到这一点。这是因为触觉获得的信息在当时是不够的。当机器人的手通过触觉理解一个物体时，他们会失去一些重要的物理信息。因此，在规划级，触觉应向多模态感知方向移动，以感知更多的触觉信息。机器学习方法的结合可以提供更丰富的触觉知识来解决这一挑战

2.2 控制级触觉感知
在控制级的触觉感知，灵巧手可以通过触摸实时反馈与控制系统的结合，机器人灵巧手可以实现更精确的调整。触觉不再是简单地“告诉”机器人接触信息和物体信息。机器人手利用触觉信息对手指进行判断，控制物体状态到达目标状态。在控制级感知方面，相关的研究可分为触觉伺服、滑移检测和抓取质量测量。
2.2.1 触觉伺服
在灵巧操作过程中，采用触觉反馈驱动电机的控制体系结构分配触觉伺服。同时，触觉伺服也为机械手探索更安全的新环境提供了新的方向。对于人类来说，触觉是探索环境的重要信息，对于机器人来说也是如此。机器人如何更好地理解和利用触觉信息是一个重要的研究方向。

2.2.2 滑动检测
由于传感器噪声、滑移或外部干扰等不确定性的存在，机械手的灵巧操作是一项具有挑战性的任务。由环境变化引起的外部干扰可能会使一个稳定的抓取变成不稳定的抓取。人类可以通过触觉对不稳定做出快速反应。同样地基于触觉感知对滑动进行检测是对进一步的灵巧操作至关重要。目前大多数滑移检测工作基于两种传感器:传统的商业触觉传感器(BioTac触觉传感器)和视觉-触觉传感器。另一方面，滑移检测通常采用视觉-触觉传感器。

2.2.3 抓取质量检测
对物体的正确把握对灵巧操作至关重要。良好的抓握规划包括物体表面抓握点的确定和手构型的选择。我们重点回顾了利用触觉信息评价抓取质量的质量测量方法。研究人员提出了许多利用触觉信息进行抓握质量测量的方法。滑移检测和抓取质量检测任务赋予机械手稳定抓取的能力。触觉伺服使机器人的手能够安全地探索物体并灵巧地操纵物体。控制级的感知使机械手能够有一定的自主操作能力。

2.3 学习级触觉感知
机器人学习的目标是获得一种行为，如灵巧操作，通常用技能政策来表示。本节讨论触觉信息如何用于机器人技能学习，以及触觉信息如何在技能政策中体现。研究了两种机器人学习算法:模仿学习和强化学习。与传统方法相比，基于学习的方法具有对复杂对象进行操作的决策能力，提高了机器人操作的泛化能力。

2.3.1 基于触觉的模仿学习
一旦机器人开始在新的环境中执行任务，一种有效的方法是用人类的行为策略来启发机器人的行为。这样就需要触觉信息来帮助机器人理解行为和新环境。模仿学习方法利用人类演示的动作作为控制机器人的启示。这种方法首先记录了人类演示的动作。然后，通过人体动作演示和运动编码回归得到机器人的优化轨迹。在这个过程中，触觉反馈起着重要的作用，它与人类的演示有着密切的关系。就目前来看，大多数可以通过模仿学习完成的任务都是相对简单的。在灵巧操作的背景下，机械手相应的操作算法也会变得更加复杂。此外，许多任务都是基于仿真环境进行实验的。机器人灵巧操作能力和模仿学习算法的性能还需要在现实世界中进行更多的实验来验证。

2.3.2 基于触觉的强化学习
机器人学习直接从机器人与环境的交互中学习技能策略。从触觉数据中学习技能是机器人领域的一个核心研究方向。机器人应该能够从触摸或掌握实验中学习有用的信息和政策。对于机器人来说，触觉可以用来学习操作技能，如手内操作。RL的一个关键特点是，它允许机器人在没有机械手的动力学或动力学模型的情况下通过试验和错误学习经验。这将有助于提高机械手的操作精度，降低机器人系统的建模难度。

触觉感知的主要挑战是，没有对象或环境模型可以直接用于操纵任务。为了解决这个问题，提出了许多学习方法。与传统的手工编码触觉反馈策略相比，学习策略表现出更好的性能。同时，学习策略方法增强了机器人的泛化能力，机械手对于新对象也能更好地完成给定任务。强化学习的方法允许机器人学习新的目标信息，并根据它做出相应的动作反馈。

与控制级相比，学习级的触觉信息使机械手具有更高的智能。机械手可以通过与环境相互作用的信息来控制自己的行为。结合学习级的触觉感知可以提高机械手的决策能力但是对于机械手来说，采用学习的方法通常需要大量的样本，这是一个耗时且昂贵的过程。与此同时，与人类的学习效率相比，机器人的学习效率还有很大的提升空间。
3、面向灵巧操作的触觉感知方法面临的挑战
3.1 触觉探索中的安全性问题
为了便于灵巧操作，机器人需要移动它们的手来识别被操作物体的特征。通过不同的探索操作，如按下、轮廓跟随、滑动等，识别对象的属性，重建对象的形状。在机器人手与物体的物理交互和触觉探索过程中，需要保证机器人手及其周围环境的安全。一方面，要及时采集触觉信号并传递给控制器。另一方面，由于对象模型是未知的，机器人可能会违反一些关键的约束。如果在勘探过程中发生意外损伤，具有一定的自愈能力和拉伸能力可以保证系统的安全性。这些能力都将保证机器人在探索过程中的安全。整合多种感觉形态，获取丰富信息

3.2 理解高级语义信息
如何从低级感官数据中提取任务需求和人类偏好等高级语义信息? 要进行灵巧操作，机器人首先要知道被操作的对象是什么，需要进行什么样的操作，即任务要求。语义信息可以提供具有高级抽象的环境表示。要解决的一个重要问题是如何表示高级语义信息。一种可能的方法是定义一个层次结构来表示语义信息。空间层次将高级语义信息与感官信息(如图像或触觉)联系起来。此外，随着自然语言处理、人机交互等技术的发展，机器人认知能力的提高也会得到加强。

3.3 用于灵巧操作的新型触觉传感器研制
触觉传感器已集成到机器人的手上，以检测相互作用力和位置然而，触觉传感器仍有一些局限性有待解决。这第一个问题是如何提高触觉传感器的灵活性。因为手的表面通常是不规则的，与刚性传感器相比，柔性传感器更容易与手的表面集成柔性传感器可以放置在整个手掌表面，而不是指尖，接触信息更加丰富。触觉传感器的其他性能也需要进一步提高，如自愈能力和自功率。具有自修复能力的触觉传感器可以提高其对非结构环境的适应能力。另外，自功率可以实现机械手系统的低功耗和长期使用。

3.4 跨模态算法，不同的感觉模式间的知识传递
人类不是通过单一的感官形态来探测物体，而是通过多种感官形态。触觉信息、味觉信息、视觉信息和声音信息都可以帮助人类理解物体。一般来说，视觉数据提供物体的几何属性，触觉数据可以提供物体的物理属性，如重量或硬度。这两种感觉形态是互补的，同时存在的。对不同模态信息建立统一的特征表示和关联关系的方法仍需进一步探索。例如，如何探索新的视触觉表征，将获得的知识从大量的视觉数据转移到少量的触觉数据。
4、结论
虽然灵巧手的触觉传感器已经取得了实质性的进展，但仍有很大的改进空间。在未来，有几个很有前景的研究课题需要进一步研究。从硬件结构上看，传感器的高集成度、多功能、广覆盖将继续是未来的主要挑战之一。在软件方面，一个更好的表示算法来处理和解释触觉信息，实现安全灵巧的操作，将是机器人领域的另一个挑战。此外，如何将触觉数据处理方法与自主控制算法相结合进行基于触觉的灵巧操作也是一个重要的发展方向。这两种方法的结合将提高机器人双手的智能和灵巧度。