软体机器人也能搞工业了？用触觉和视觉进行智能打包！

论文标题：

Real-Time Grocery Packing by Integrating Vision, Tactile Sensing, and Soft Fingers

论文作者：

Valerie K. Chen, Lillian Chin, Jeana Choi, Annan Zhang, Daniela Rus

导读：

本研究介绍了一种新型软机器人打包系统，该系统利用视觉、触觉和软性手指的协同作用，实现了对杂货的实时智能打包。系统特别考虑了易碎物品的保护，通过多模态传感技术提高了打包效率并减少了损坏风险。与传统方法相比，该系统在实际应用中展现了显著的性能提升和适应性，证明了软机器人技术在自动化打包领域的应用潜力。©️【深蓝AI】编译

1. 摘要

装箱一直是机器人操作的关键基准任务，但过往研究主要关注于在容器内放置刚性矩形规则物体，而本研究展示一个柔性机器人手，它结合了视觉、基于运动的本体感觉和柔软的触觉传感器来识别、分类和包装一系列未知物体。这种多模态传感方法使得软体机器人能够估计物体的大小和刚度，将人类对“包装良好”的主观概念转化为可实现的指标。本研究通过一个现实的杂货包装场景展示了这个软机器人系统的有效性，在这个场景中，任意形状、大小和刚度的物体沿着传送带移动。将触觉和本体感觉反馈与外部视觉相结合的方案，与无传感器方案(减少9倍)和仅视觉方案(减少4.5倍)相比，显著减少了损坏物品的包装操作，成功地展示了软机器人系统中多种传感模式的集成如何解决复杂的操作应用。

本研究的主要成果如下：

●集成物理软抓取平台：开发了一个集成了视觉、基于电机的本体感知和基于压力的触觉传感的软抓取系统；

●在线装箱算法：提出了一个在线装箱算法，该算法能够接收多种传感器输入，创建符合人类期望的“包装良好”的容器；

●多模态方法的物理实验：在具有不规则物体的真实超市装箱场景中，与传统的盲目装箱和视觉装箱方法进行了比较，证明了多模态方法的有效性；

●触觉传感器的开发与应用：利用3D打印技术制造了基于空气的触觉传感器阵列，用于测量抓取力；

●实时物品尺寸和刚度的检测：机器人能够实时检测物品的尺寸和刚度，并确定放置顺序，避免压碎物品。

2. 问题陈述

本研究的目标是建立一个机器人系统，该系统能够以“在线”的方式打包一个箱子，在这种方式下，物体是未知的，且系统对物体逐个处理，而不是一次处理所有的东西。这个机器人系统的目标是避免将“脆弱”的物体放在非脆弱的物体下面，这与人类对“好的”包装的定性直觉是一致的。为此本研究对该机器人包装系统提出了以下四个设计要求：

●具备一个抓手，一次可以抓住一个物体；

●具备传送带，将物体依次传递给机器人 ；

●具备箱子，用来包装物品的地方；

●一个缓冲地带，物品在打包前可暂时放置于此。

机器人包装系统的运作流程如图1所示，简言之就是监控传送带上的新物体。如果在传送带上检测到一个物体，机器人的内部和外部传感器就会抓住并分析它。如果这个物品不是易碎品，它将直接包装在箱子里。如果物品是易碎的，它将被放置在缓冲区中，以便在非易碎的物品到达后被打包。当传送带上没有其他要打包的物品时，机器人就会把缓冲区里的物品打包到箱子里。

3. 硬件架构和特性

针对杂货包装场景，所搭建的系统需要能够满足以下三方面：

●可见地定位物体；

●抓住这些物体；

●获得关于物体的触觉信息。

为此本研究通过三个主要硬件组件来实现这些目标：

●两个外部RGB-D摄像头；

●带有本体感知运动反馈的软抓取器；

●附着在该抓取器手指上的压力触觉传感器。

所搭建的实物系统如图2所示。

■3.1 外部视觉

在视觉感知上，本研究所搭建的系统使用了两个RGB-D摄像头：一个华硕Xtion 2用于检测传送带上物体的位置和大小，一个华硕Xtion PRO LIVE用于确定箱子中的最佳包装位置。

为了在传送带上定位物体，系统通过OpenCV执行颜色分割，再对物体的轮廓拟合一个边界框来估计其大小。在机器人的控制上，根据从中立位置到传送带的机器人轨迹规划和执行的平均时间，以及传送带的速度，确定物体和机器人相遇的路径点及物体到达该点的时间，然后使用MoveIt与RRT-Connect对机器人手臂进行运动规划，使其能够在该点移动并抓取物体。一旦抓取到物体后，视觉系统会识别一个合适的打包位置。首先，视觉系统通过颜色分割在RGB图像中定位打包箱。然后，将打包箱的掩膜应用到已配准的深度图像上，仅保留感兴趣的打包区域。先前在检测和抓取任务中记录的物体尺寸被转换为像素坐标。将一个尺寸与这些转换后的长度和宽度值相同的全一核与打包箱的深度图像进行卷积，创建一个打包位置的热图。该操作进行两次：一次使用反映当前物体方向的核，另一次使用旋转90度的核。最终的打包方向由两个热图中的最高得分决定。尽管这种方法不是最优的，但它绕过了目前主流算法中的计算难题和训练需求，使该系统能够在无需大量预计算的情况下进行在线打包。

为了评估外部视觉系统在大小估计方面的准确性，本研究用相机对图3中25个物品进行框选，将计算得到的每个物体边界框面积与物体的实际手动测量值进行比较。结果发现实际和估计的每个测试物体的大小之间有很好的匹配，与直线y = x（如图4所示）的紧密相关性为0.987。

■3.2 本体反馈夹持器

为了使用本体反馈抓取物体，本研究使用能够提供位置、速度和负载估计反馈的Dynamixel MX-28T伺服电机实现闭环反馈。使得机器人系统能够检测到物体被抓取的瞬间，并自动组合不同的抓取模式。此外，本研究使用柔性聚氨酯（FPU 50, Carbon Inc.）打印软体夹爪。

在每次抓取中，伺服电机会以恒定速度驱动平行夹爪闭合。当达到最大行程距离或测得估计负载出现剧增（表明物体接触）时，伺服电机将停止运动。接着，驱动软指的伺服电机会向内移动，形成环绕物体的抓取。这种平行夹爪和软指抓取的组合能够对物体形成更强且更贴合的抓取。

要释放物体时，夹爪伺服电机会以恒定速度向外打开，直到测得零负载，表明不再与物体接触。为了确保在释放物体时，夹持器不会在打包箱内打开过宽并撞击箱边缘，这种受控释放是必要的。

■3.3 触觉传感

为了提供触觉信息，可在结构内部打印了气道，当结构受到按压或弯曲时，即可测量内部气道压力的变化，从而感知表面的接触力。本研究应用这种传感技术来创建外部触觉传感器，用于测量抓取力（如图5中的A、B所示）。具体而言，利用弹性聚氨酯（EPU 40, Carbon Inc.）打印出中空的薄壁六边形棱柱，每个六边形棱柱充当一个单独的“气泡”传感器，能对被抓取的物体作出反应。这些棱柱安装在厚板上，厚板同时作为夹持器软指的端盖。空的流体通道从每个传感器的内腔延伸到外缘，以便进行测量。这些通道设计长度相同，因此每个通道对给定力应有相似的响应（如图5中的C所示）。通过真空抽吸移除打印部件中的多余树脂，以创建开放通道。然后用Gorilla Super Glue胶水封住树脂出口孔。硅胶管用于将这些密封的容积连接到差压传感器（HSCDRRN160MDAA5, Honeywell），通过24位模数转换器（ARD-LTC2499, Iowa Scaled Engineering）读取数据。

为了验证软触觉传感器在测量抓取力方面的准确性，本研究进行了一系列实验，在六边形传感器上放置不同重量的砝码。放置的砝码重量从10克到200克，每次增加10克。每个重量类别进行三次试验。同时，为了均匀分布重量对传感器的影响，需在7个六边形传感器上放置了一张0.7克的纸板，并测量没有砝码时的基线数据，以便对其他数据点进行归一化。由于电子设备的安装空间有限，只能记录3个六边形传感器的数据，为此选择测量最左边的六边形、中间的六边形和最右边的六边形，测量结果如图6上图所示。除此之外，为了补偿这种不完整的测量，还需将测量到的通道压力变化与放置在传感器通道上的总重量进行比较（如图6下图所示）。例如，在理想情况下，如果将10克分布在所有7个传感器上，每个传感器的表面积为42.4 mm²，则传感器总共应测得。同样在理想情况下，这个压力将均匀分布在测量的3个传感器上，因此3个传感器总共应测量到43%的总压力。但在实际情况下，整个传感器是由弹性材料制成的，并不是所有重量的力都直接作用于传感器。注意到中间传感器的偏差较大，因为大部分重量集中在中间。在实际实验中，对于10克的重量，3个传感器总共测量到136 Pa，约为预期总压力的41%，非常接近预期的43%，对于其他负载情况，本研究也进行了相关的等效百分比测量。后续测量结果与初始10克的测量结果不完全一致。这表明随着更多重量加载到六边形传感器上，整个弹性结构自身承受了重量，而不是单个六边形传感器。与预期的3个六边形传感器承受43%重量不同，它们大约承受20-25%的重量。重量越大，整体结构的压缩越集中，导致在100-120克之间出现大幅下降。这一下降对应于从多个较小砝码切换到一个较大的100克砝码，产生更集中的压缩效应。为此需要更多实验来理清重量位置与测量响应之间的关系。

尽管存在这种变化，但仍能看到更大的重量导致压力传感器有更大响应的总体趋势。只要力没有过度压缩整个弹性结构，传感器便能够跟踪微小的10克变化。即使在未直接压缩的传感器上，较重的砝码也能被检测到并与较轻的砝码区分开来。这表明触觉传感器能够提供抓取状态的信息，并可用于更复杂的抓取操作。

4. 包装算法

为评估打包系统如何确定物体是否“易碎”，本研究引入了打包优先级分数的核心指标。该分数通过视觉和触觉读取的结合来确定物体的“易碎”程度。物体的脆弱性非常定性；然而，这是人类决定如何打包物品的主要指标之一。本研究试图通过提出利用物体的尺寸和刚度来衡量脆弱性，从而使这一指标更加定量化。尺寸可以通过系统的视觉传感器确定，而刚度可以通过系统的触觉传感器确定。一旦有了一个评分公式，便可以使用该分数来决定非易碎物品是否应直接放入箱中，或保留在缓冲区直到传送带上没有物品为止，然后系统会按照优先级分数降序将缓冲区内的物品打包到箱中。

使用图3所示的物品集，对25个物体依次进行三次抓取。对于每次抓取试验，计算6个传感器（每边3个传感器）的平均触觉输出，并将其与每个物体的测量面积进行对比，并手动为“易碎”与“非易碎”物品添加标签，以查看是否可以区分易碎与非易碎物品，相关示意如图7所示。从这个图表中可以得出两个主要观察结果：

1）易碎物体对触觉传感器施加的力较小。这是由于易碎物体的柔顺性，防止了对夹持器产生较大的力抵抗，这导致了一个分界线，将大多数易碎物品与非易碎物品分开。具体而言，这条线的截距为864 Pa，斜率为-0.564 Pa/cm²，如图7中的实线所示。

2）实验中发现一些物品未能产生显著的触觉传感器读数，接近x轴。这些物品大多是刚性、非易碎物品。与柔顺性物品不同，柔顺性物品会变形以适应夹持器的形状并增加接触面积，而刚性物品则不会变形，而是保持最小的接触。为了将这些物品与真正的易碎物品区分开来，还需引入了刚性物品的阈值134 Pa，如图7中的虚线所示。

根据上述两个约束，可以评估打包优先级分数。在执行打包算法时，使用边界框技术测量物体的面积A，并使用触觉传感器测量物体的抓取压力，优先级分数p为这些面积和压力读数的加权综合。根据阈值线，确定和。因此，确定优先级分数的公式为。换句话说，优先级分数小于864的物品被视为易碎物品，而优先级分数大于或等于864的物品被视为非易碎物品。这样便成功地得到了一个封闭形式的公式，可以在在线评估中用于确定物体是否“易碎”。

5. 杂货包装实验

本研究的实验装置包括一个UR5机器人手臂，配备了3.2节描述的本体感觉抓取器。在机器人前面是一条以恒定速度（0.1米/秒）运行的传送带，物品在传送带上手动装载。在机器人旁边放置了三张小桌子作为缓冲。在机器人的旁边是一个纸箱。这个箱子沿其边界有彩色标记使其便于检测。为了进行在线装箱，视觉系统监视传送带上的物体。一旦视觉系统看到一个物体，机器人手臂就会以垂直于皮带运动的固定抓取姿势抓住这个物体。然后，系统通过测量物体的面积和一秒钟内触觉传感器读数的平均值来评估被抓物体的优先级得分。如果优先级分数在易碎物体阈值之外，机器人将直接打包。否则，机器人将把物体放入缓冲区。当传送带上没有物体时，机器人按优先级分数递减的顺序抓取缓冲区内的物体。

■5.1 任务设定

为了评估包装系统，用一组新的15个物体进行了三次杂货包装实验（如图8上图所示）。在实验中，定义了“坏包”的情况，即一个重的物体放在一个脆弱的物体上。这会对脆弱的物体造成伤害，例如，当沉重的汤罐压碎一包薯片时。在每次试验中，随机选择了10个物体，并将它们呈现的顺序随机化。为了比较不同的基线，选择的序列如下：

●顺序1：羽衣甘蓝、冰淇淋、薄脆饼干、海带、炖肉、小苏打、松饼、薯片、口香糖、汤；

●顺序2：面包、羽衣甘蓝、华夫饼、炖肉、松饼、奶酪、薯片、糖屑、口香糖、饼干；

●顺序3：奶酪、松饼、薄脆饼干、炖肉、汤、薯片、松饼、品客薯片、冰淇淋、海藻。

实验将本研究的多模态方法与以下另外两种方法进行了比较：

1）基线方案：视觉和本体感受输出仅用于确保物体被抓住。所有物品立即打包，并放在箱子中央。

2）仅视觉方案：使用视觉和本体感受输出来确保物体被抓住。此外，视觉提供了物体形状的估计（边界框区域），用于计算物体被打包的位置。对象大小大于阈值的物品被认为是“大”，并立即打包，而较小的项目稍后打包。缓冲区中的物品按大小递减的顺序打包。

■5.2 实验结果

总体而言，额外的传感极大地提高了机器人系统的包装性能。基线实验的结果是包装不佳，每次试验平均有六次重物掉落在易碎物品上（“坏包”），可能造成破坏。仅视觉实验提高了包装性能，每次试验平均有三个坏包。同时，多模态实验平均每次试验不到一个坏包，比基线系统提高了9倍，比仅视觉系统提高了4.5倍。

6. 结论

本研究提出了一种集成视觉、触觉传感和软性手指的软机器人系统，用于实现实时杂货打包。该系统能够智能识别、分类并安全打包各种形状和硬度的物体，特别注重保护易碎物品。通过结合RGB-D相机的全局视角和软触觉传感器的局部感知，系统能够准确估计物体特性，并动态优化打包顺序。在实际的杂货店打包场景中，与无传感器或仅视觉系统相比，该系统大幅减少了可能导致物品损坏的打包动作，验证了多模态传感在软机器人系统中的高效整合，为自动化打包提供了一种创新解决方案。

编译｜唐僧洗头用飘柔

审核｜Los

移步公众号【深蓝AI】，第一时间获取自动驾驶、人工智能与机器人行业最新最前沿论文和科技动态👇
深蓝AI·赋能AI+智驾+机器人