weixin_44887311的博客

近日，美国西北大学John A. Rogers/黄永刚&西湖大学姜汉卿&大连理工大学解兆谦联合团队提出了一个微型化的机电结构，当与皮肤结合时，能够作为一个弹性储能元件，且支持双稳态，自感知变形模式，实现了压力、剪切力、振动、动态、静态的无线低功耗感知的系统级高度集成，文章于2024年11月6日发表于《Nature》正刊上。一个无线的、皮肤舒适的触觉界面，集成了这些双稳态传感器阵列，作为一个高密度通道，能够呈现来自智能手机的3D扫描和惯性传感器的输入。图2 传感器的机械特性和皮肤在维持双稳定性中的作用。

在这两种情况下，机器人的体现使我们能够设计和测试关于自我本质的假设，关于它的发展、它在行为中的表现以及人类、动物和潜在的机器中自我的多样性。https://www.science.org/doi/10.1126/scirobotics.adn2733Science Robotic 近期发表的综述论文，回顾了解决自我主题（最小自我、扩展自我和自我障碍）的机器人学研究，并强调了通过在人工系统中构建自我组成部分来理解自我的未来方向和开放挑战。

这篇工作将主要介绍了深度学习在六自由度抓取合成上的常见方法、深度学习在抓取过程中的支持方法以及数据集设计方法。近期就职于澳大利亚克莱顿市莫纳什大学的Rhys Newbury在TRANSACTIONS ON ROBOTICS期刊杂志上发表的 ”Deep Learning Approaches to Grasp Synthesis: A Review” 综述论文总结了近十年六自由度抓取合成的各类方法，其中最为常用的方法：基于采样的方法、直接回归方法、强化学习方法和范例方法。

他们发现了具身智能领域的 “圣杯”——data scaling laws，让机器人实现了真正的零样本泛化，可以无需任何微调就能泛化到全新的场景和物体。视觉编码器必须经过预训练和完整的微调，缺一不可扩大视觉编码器的规模能显著提升性能最令人意外的是：扩大扩散模型的规模却没能带来明显的性能提升，这一现象还值得深入研究。当环境数量足够多时，在单一环境中收集多个不同的操作物体的数据收益极其有限 —— 换句话说，每个环境只需要一个操作物体的数据就够了。Scaling Laws：从 ChatGPT 到机器人的制胜法则。

为此，香港中文大学（深圳）的研究团队对近40年来的模块化自重构机器人硬件与设计进行了全面调研，提出了一套创新且统一的概念框架，用于深入理解模块化自重构机器人系统的硬件构成。同时，算法的进步大幅促进了硬件技术的发展，使得这一领域迅速成熟，吸引了越来越多的跨学科研究力量加入，推动了相关技术的快速推广和应用。随着技术的进步，分类方法日益复杂，导致了一定程度的混乱。随着技术的不断进步和多样化设计理念的兴起，这类机器人的种类日趋丰富，不同类别通过各自的形态与功能特点进行描述，致使该领域的分类体系日益模糊。

随后大模型内部的网络会将该特征分为不同的对象类型（Object）来进行学习，对象类型（Object）是通过预训练的模型获取的，基本能够涵盖人类指令中涉及的机器人交互对象。这种多模态推理在实际任务中的表现，证明了该方法能够有效将视觉感知和语言描述转换为实际的操作行为，如图6中，提示词为“帮助玩具坐在车上”，这里的“坐”和“放”体现了玩具的不同姿态，机器人需要敏锐的区分这里的动词，并实现不同的抓取和放置，从图中来看最终玩具很好的“坐在”车上，而不是被“放在”车上，体现出了RoboCodeX的有益效果。

在旋转实验中，我们采集了三种探针（不包括本身中心对称的探针，因为旋转前后几乎无差别）的顺时针和逆时针旋转数据，旋转角度从0度到45度，以5度为间隔，共获得60张旋转图像。路径追踪算法追踪光线传播的路径，判断光线和物体的相交情况，可以真实模拟光线在空间中传播时产生的反射、折射、散射、叠加和衰减，可以提供更为真实的光影效果。对于旋转的情形，朴素MPM也存在类似的问题。图5、6：左右两图分别展示了滑移和旋转的仿真结果，每张图片最左侧为采集的真实数据，中间为朴素MPM的仿真结果，右侧为IMPM的仿真结果。

考虑一个复杂的高维系统，例如在开放空间中学习的具备移动能力的多足机器人，其可探索的空间比受限的桌面环境大得多。本文的方法主要包括以下几个核心组件：(1) 任务相关的自主性，用于收集具有有用学习信号的数据，(2) 通过整合先验知识与学习策略实现高效控制，(3) 结合高级视觉-文本语义与低级深度观测的灵活奖励设定。图 1：持续自主学习：本文使一个具备移动能力的多足机器人通过在现实世界中的练习，学习执行多种任务，如移动椅子（上图，左和右）、扶正簸箕（上图，中间）以及扫地（下图），并且几乎不需要人为干预。

在 7 亿参数规模的验证中，团队看到了令人鼓舞的结果：更大的模型不仅能够处理更多复杂的任务，而且在泛化到未见过的任务和场景时也表现得更加出色。我眼里有活儿更让人惊艳的是，GR-2 还能够与大语言模型相结合，完成复杂的长任务，并与人类进行互动。这种能力，不仅提升了 GR-2 动作预测的准确性，也为机器人的智能决策提供了新的方向。除了能够处理多达 100 余种不同的物体，例如螺丝刀、橡胶玩具、羽毛球，乃至一串葡萄和一根辣椒，GR-2 在未曾见过的场景和物体上也有着出色的表现。GR-2 的旅程，才刚刚开始。

无论是完全自主还是与人类密切合作，机器人都变得无处不在。在太空和深海探索中，在手术室或驾驶汽车中，它们的影响力与日俱增。Science Robotics 期刊为最新的技术进步以及围绕机器人关键技术的社会、道德和政策问题提供了一个高质量学术平台。它是多学科的，涵盖了机器人技术的传统学科，以及先进材料和仿生设计等新兴趋势。它涵盖了从超大型系统到微/纳米机器人；其范围很广，既涉及理论进展，也涉及实际应用。在此总览2017-2023年Science Robotics 封面论文情况。1、2023年12期封面论文12月

此外，该实验设计还引入了回退机制，以应对阶段间的重新规划，例如当最后一个阶段的任何子目标约束不再满足时（如在倒茶任务中杯子从夹具中取出），系统会回退到一个满足路径约束的先前阶段。基于此，研究人员提出了一个问题：如何表示机器人操作中的约束，使其能够广泛应用于各种任务，具有可扩展性，并能够通过现成的求解器进行实时优化，以适应复杂的操作行为？最后，当前的公式假设每个任务的阶段序列是固定的，重新规划不同的骨架需要在高频下运行关键点提议和VLM，这带来了相当大的计算挑战。

通过对传感器结构的优化，研究者提出了一种紧凑的传感器设计，使其厚度仅为14毫米，长度约为44毫米，适用于狭小环境中的抓取操作。通过与提出的传感器设计进行比较，结果表明，不使用镜子的设计由于相机视角的扭曲，图像存在明显的透视变形，影响了接触表面的深度重建。该研究提出的小型光度视觉触觉传感器成功缩小了传感器尺寸，解决了传统视触觉传感器体积大的问题，同时保持了良好的表面感知性能。研究结果还显示，荧光颜料涂层提供了稳定且一致的光照效果，并且避免了LED照明引发的过热问题，延长了传感器的使用寿命。

首先，介绍标记型VTS的工作原理，包括单层标记、双层标记、颜色编码和光流。文章首先介绍了单层标记、双层标记、彩色编码和光流等标记型VTS的工作原理，深入讨论了标记类型与力量测量类别之间的关系。近期，方斌教授团队发表的Advanced Intelligent Systems 综述论文，深入探讨了标记属性与力量测量精度的关系，提出了优化标记设计的潜在解决方案。讨论了基于视觉的触觉传感器力量测量技术，深入探讨了力量感应原理、标记类型、测量方法及应用场景等，为VTS的力量测量提供了全面而深入的技术细节。

结合BMLTS和深度学习的仿生智能感知系统(BIPS)可以实现基于摩擦电的对Al、POM、玻璃、纸张、纤维等5种材料的实时感知，实现对数字、字母、汉字书写和记录的智能识别。但是对于宇航员来说，但对于在太空或月球上的宇航员来说，他们佩戴的太空手套通常是由非常厚的多层结构组成来提高密封性，以确保宇航员的安全，但却阻碍了有效的触觉反馈，特别是指尖的触觉反馈，导致手的灵巧操作受到限制，严重阻碍了宇航员在舱外活动的灵活性。整个过程分为接触前(①)、开始接触(②)、接触后(③)、开始分离(④)、接触后(⑤)五个步骤。

机器人对物体部分进行高效且零样本抓取的能力对于实际应用至关重要，并且随着视觉语言模型（VLMs）的最新进展而变得越来越普遍。为了弥补支持这种能力的表示中的二维到三维差距，现有方法依赖于通过可微渲染或基于点的投影方法的神经场（NeRFs）。然而，我们证明NeRFs由于其隐式性而不适用于场景变化，而基于点的方法在没有基于渲染的优化的情况下，对于部件定位不准确。为了解决这些问题，我们提出了GraspSplats。通过使用深度监督和一种新颖的参考特征计算方法，GraspSplats在不到60秒的时间内生成高质量的场

在完成预抓取后，稳定性调整控制器接管抓取过程，实时监控物体的运动状态，尤其是物体可能的滑动情况。对于较重或刚性物体，预抓取阶段的接触强度可能不足以支撑整个抓取过程，因此需要根据标记位移的变化，动态调整抓取力度，防止物体滑落。为此，本文提出了一种紧凑型指尖形状的视觉-触觉传感器（FVTS），旨在通过高精度的触觉反馈，帮助机器人灵活调整抓取力度，实现对不同物体的自适应抓取。该策略包括预抓取控制器和稳定性调整控制器，分别应对物体的初始接触和稳定抓取阶段，确保机械手在处理各种物体时能够提供非侵入性、稳定的抓取。

随着技术的不断完善，我们有理由期待在不久的将来，这种基于磁体植入的假肢控制系统能够为更多患者带来福音，帮助他们重获失去的功能，提高生活质量。其次，磁体的尺寸比现有的植入式肌电传感器更小，可以植入更多肌肉部位，理论上能实现更多自由度的控制。再者，磁体位移提供了肌肉长度和速度的直接测量，有望更准确地关联肌肉激活与肌力，从而实现更精细的控制。与传统依赖神经和肌肉电信号的方法不同，该技术利用肌肉收缩引起的物理位移来解读用户意图，为开发更加直观、精准的人机接口提供了新的可能性。此外，长期临床试验也是必不可少的。

图6：展示了多感受器皮肤在远程感知和触觉感知中的应用。读后感这篇论文提出了一种基于多感受器皮肤的新型远程感知和触觉感知系统，结合了纳米材料的结构性掺杂和深度学习算法，突破了传统传感器在感知距离、灵敏度和功能上的限制。图5F通过对比不同通道的输入，展示了识别精度随着通道数量的增加而提升，图5G则展示了四通道输入下的混淆矩阵，表明系统最终实现了99.56%的分类准确率。图1A介绍了人类大脑功能区域的分布，图1B展示了鸭嘴兽通过双重感受器（机械感受器和电感受器）感知环境的原理，作为系统设计的仿生灵感。

精准的三维环境表示一直是计算机视觉和机器人领域的一个长期目标。最近出现的神经隐式表示为该领域带来了革命性的创新，因为隐式表示能够实现多种功能。其中，神经辐射场（NeRF）由于其巨大的表征优势，如简化的数学模型、紧凑的环境存储和连续的场景表示，引发了一种趋势。除了计算机视觉，NeRF在机器人领域也显示出巨大的潜力。因此，本综述是为了全面了解机器人领域的NeRF。通过探索NeRF的优势和局限性，以及它目前的应用和未来的潜力，我们希望能阐明这一有前景的研究领域。从NeRF如何进入机器人领域的角度来看，我们的调查分

i 如果蚂蚁微型机器人的轴线与磁方向之间存在角度，则会在蚂蚁微型机器人上产生磁扭矩，从而引起蚂蚁微型机器人的旋转运动，以沿着磁场的方向排列。随着微纳制造技术和材料科学的快速发展，基于刺激响应材料的微型机器人得到了发展，它们表现出优异的响应变形特性、高度的环境适应性和强大的功能性。然而，从微型机器人的数量来看，当前的研究通常集中在单个可变形的微型机器人上。尽管可以可控地实现单个微型机器人的可逆、动态和快速的变形或运动，但是多个可变形微型机器人之间稳定、可逆的连接以形成集体以及它们的运动和应用尚未得到验证。

通过在FoTa数据集上进行预训练，T3具备了强大的泛化能力，我们可以通过少量领域的特定数据对其进行进一步的微调，并且其性能可随网络规模的增大而提高，如此便能够应对各种不同的感知需求。为了探究T3的优劣，我们训练和评估了3个策略：一个没有触觉输入的基础策略，一个由从头开始训练的神经网络编码的触觉输入策略，以及一个由T3编码的触觉输出策略。预训练的T3在许多任务上展现了显著的性能提升，特别是在复杂的长时间接触操作任务中，例如多引脚电子元件的插入任务，T3相较于传统方法提高了25%的任务成功率。

研究人员给嵌入加了个位置嵌入，然后喂了一个8500万的Transformer编码器，之后用双向注意力进行解码，就得到了观察结果的潜在嵌入。目前研究团队已经开源了Aloha 2的所有硬件设计，并提供详细的教程和模拟模型，以便于研究人员和开发者进行大规模的双手操作研究。训练时，研究人员基于JAX框架，在64个TPUv5e上并行训练，批量大小256，总共进行了200万步的训练。除了系鞋带，视频中的Aloha 2机器人还会挂衣服、拧齿轮、收拾厨房，甚至是给“同事”换不同用途的配件。

综述随后分析了现有研究之间存在的联系，并总结了目前大模型驱动的具身智能领域面临的挑战，包括大模型在特定具身场景中的适应问题、大模型策略和人类偏好的对齐问题、具身策略的跨域泛化问题、大模型驱动多智能体协作问题、具身智能在真实环境中所面临的挑战和大模型具身策略的决策实时性问题等。随后，从学习范式的角度将大模型驱动的具身智能算法概括了五大类并依次进行了详细阐述，分别是大模型驱动的环境感知、大模型驱动的任务规划、大模型驱动的基础策略、大模型驱动的奖励函数、大模型驱动的数据生成。表 3 大模型具身基础策略算法总结。

具身智能是实现通用人工智能的必经之路，其核心是通过智能体与数字空间和物理世界的交互来完成复杂任务。近年来，多模态大模型和机器人技术得到了长足发展，具身智能成为全球科技和产业竞争的新焦点。然而，目前缺少一篇能够全面解析具身智能发展现状的综述。因此，鹏城实验室多智能体与具身智能研究所联合中山大学 HCP 实验室的研究人员，对具身智能的最新进展进行了全面解析，推出了多模态大模型时代的全球首篇具身智能综述。该综述调研了近 400 篇文献，从多个维度对具身智能的研究进行了全面解析。该综述首先介绍了一些具有代表性的具

材料方面采用柔性材料，结构上加入悬臂梁，并将其末端都集中在手掌的一个区域，只要将一个物体压入手掌，就可以实现手掌的被动弯曲，以此简轻机器人手的重量并保持手掌的形状合适。在此之外，由于LED和有机硅之间产生的空气界面而导致的不可预测的光热点和凝胶弹性体表面缺乏混合光梯度的问题，采用了易于使用和封装在硅胶中的商业柔性1.7 mm直径LED灯丝(Adacarp)，通过测试和比较，最终选用蓝色LED，将其集成到ROMEO手指和新型手掌中，并使用半透明的有机硅涂料。下图为硅酮浇注前将铝漆混合液空刷到模具上的步骤。

虽然机器人已经开始在现代制造业、医疗、服务业等领域进行渗透，但对于机器人尤其是机械臂的操作能力，仍然有很大的提升空间，传统多指机器人手虽然能够实现复杂的操作任务，但其高度冗余性也带来了不必要的复杂性。近日来自普渡大学和麻省理工学院的研究团队开发了一款配备触觉传感器的5自由度（DoF）触觉双指抓手，该设计能够简化的机械结构和增强的触觉感知能力，实现更高效、更精确的在手操作。例如，在抓取信用卡时，机器人可以通过触觉图像准确判断信用卡的姿态和位置信息，并据此调整抓手的操作策略以实现精确插入。

人机交互是一个快速发展的领域，机器人在我们的日常生活中发挥着越来越积极的作用。病人护理是机器人越来越多出现的领域之一，尤其是对残疾人来说。患有神经退行性疾病的人可能不会有意识或自愿地进行除眼睛或眼睑以外的运动。在这种情况下，脑机接口(BCI)系统提供了与外部世界通信或交互的另一种方式。为了改善残障人士的生活，本文提出了一种新的脑机接口，用于控制辅助机器人。

值得注意的是，触觉传感器具有超灵敏(0.05 mm/s)和超快(4 ms)的滑动感知，这对于灵活可靠的抓取控制是必不可少的，以避免压碎易碎物体或掉落光滑的物体。一系列具有快速滑动反馈控制的智能抓取策略和触觉-视觉融合识别策略能确保机器人灵巧的抓取和准确识别日常物体，处理各种具有挑战性的任务，例如抓取装有液体的纸杯。然而，目前的感知技术仍然不能满足机器人在家庭任务/环境中的需求，特别是在多感官整合和融合、快速反应能力和高灵敏度感知方面面临着巨大的挑战。图5 基于触觉-视觉融合的物体分类和桌面清理识别策略。

清华大学孙富春教授团队联合大阪大学万伟伟教授团队和中国地质大学（北京）杨义勇教授团队，依托国家自然基金委和日本学术振兴会国际合作项目（中方项目负责人是清华大学孙富春教授，日方项目负责人是大阪大学万伟伟教授），在传感器领域Q1期刊IEEE Sensors Journal 发表综述“Hardware Technology of Vision-Based Tactile Sensor: A Review”，总结了近5年来视触觉传感器的硬件技术，包括硬件的类型、材料、制备工艺、性能以及集成技术。

研究还显示，该仿生手系统在触觉信号解码和神经运动控制上的表现与真实生物系统的误差低于10%，为未来仿生手和假肢手的开发提供了关键的数据支持。在本研究中，研究团队提出了一种创新性的方法，结合人体神经传导实验、人手数字孪生模型和神经动态模型，成功实现了对人手触觉感知信号和运动神经信号的预测和解码。例如，在对比实验中，我们的模型成功模拟了在与不同形状（如圆柱形和球形）物体接触时，神经信号的变化情况，并与真实的生物神经信号进行比较。此外，研究还发现，触觉信号的解码不仅与接触物体的形状有关，还与物体的大小密切相关。

每个刺激目标都以一个固定的频率闪烁，每个刺激目标的闪烁频率是不同的。此外，将物体的视觉信息与刺激目标相结合，建立了一个新的刺激界面，该刺激界面可以自动更新刺激目标与物体之间的映射关系，以适应工作空间中物体的变化。提出的基于AR的SSVEP-BCI系统使用户更自然地选择意图目标，并能在有限数量的刺激目标下抓取更多种类的不同物体，具有在复杂多变的场景下使用的潜力。所提出的SSVEP-BCI系统可以应用于复杂多变的场景，并且不局限于固定的对象类别和数量，因为融合的刺激界面可以自动更新物体与刺激目标的映射关系。

这些挑战主要集中在BCI解码器的训练上，传统的解码器训练依赖于监督学习，需要明确的标签数据，这往往要求用户在受控环境中进行特定的动作。在两种BCI范式中，cMTP解码器的输出与控制解码器的输出结合，以创建训练数据。为评估该方法的效率，研究团队采用aaBCI框架（基于cMTP解码器输出的估算标签）训练的控制解码器，与基于监督学习（使用真实标签）训练的解码器进行比较。该aaBCI模块负责检测连续时间内的运动任务表现的神经相关性（cMTP），以及基于cMTP解码器的输出和控制解码器的输出估算控制解码器的标签。

但这种方法并非没有挑战。因此，重要的设计目标包括需要对自然行为的最小干扰，对动物及其当地环境的鲁棒性，以及跨越感兴趣行为的时间尺度的可靠性。此外，蜜蜂通过吸热产生对低温做出反应，特别是在冬季集群行为中，当蜂群形成数千只蜜蜂的动态自我调节集合体时，其行为就像一个更大的生物体，在寒冷的气候中生存。研究者的目标是利用机器人的能力进行蜜蜂集体动力学的科学研究，特别是通过机器人交互，通过调节蜂巢内的局部热场来激发动物的反应。这里介绍的机器人系统具有集成到蜜蜂群体的能力，并有可能研究它们多样化的集体体温调节行为。

近日Science Robotics发表了一篇关于《三维空间时空感知的立体人工复眼》文章，该人工复眼由弗吉尼亚大学工程与应用科学学院副教授Kyusang Lee及众多团队成员联合开发，通过与一些精妙的光电工程和创新的“边缘”计算（在捕获数据的传感器内或附近处理数据）相结合，克服了机器目前收集和处理现实世界视觉数据的方式中令人烦恼的限制。实时数据处理：通过集成在像素级的人工突触和本地处理器上的神经网络，系统能够在传感器内直接处理光学信息，减少了数据传输和存储的需求，从而实现了快速的实时响应。

G至I分别展示了在鳞片数量从 1 个增加到 6 个、SAILS 的弹性模量从 10 MPa 到 1 GPa以及鳞片与底层之间的摩擦系数从 0 到 1三种情况下，SAILS 的归一化曲率与表观弯曲模量之间的权衡。为此，来自新加坡南洋理工大学的研究人员从覆盖在穿山甲和鱼类等生物身上的鳞片中汲取灵感，开发出一种机器人结构，其可以在高度集成的紧凑机体中同时改变硬度和形状。A展示了SAILS的灵感来源于穿山甲和鱼的自然鳞片，并展示了SAILS的表面图案。D展示了SAILS的变形和变刚度能力的实验验证。

面对这一挑战，来自加州大学伯克利、斯坦福大学、华盛顿大学以及谷歌的学者们共同开发了名为高效机器人强化学习套件（SERL）的开源软件框架，致力于推动强化学习技术在实际机器人应用中的广泛使用。为了确保机器人可以在复杂的物理环境中安全精确地探索与操作，SERL 为 Franka 机械臂提供了特殊的阻抗控制器，在保证准确性的同时确保与外界物体接触后不产生过大的力矩。通过这些技术和方法的结合，SERL 大大缩短了训练时间，同时保持了高成功率和鲁棒性，使机器人能够在短时间内学习完成复杂任务，并在现实世界中有效应用。

如果能够在机械手末端加装传感器来获取更加丰富信息，这些信息可以丰富强化学习的信息量，并作为观察值（Observation）来对齐虚拟和现实，完成强化学习的迁移，提高整体模型的鲁棒性和一般性。其具有如下的优点，首先是数据依赖性低，强化学习通过与环境的交互来学习，减少了对标记数据的依赖性，可以大量的减少成本。另有研究者使用有限元（FEM）的方法来对视触觉传感器进行了仿真，通过视触觉传感器的标记点来对齐虚拟和现实的信息，完成了插拔刚体，钥匙开锁等刚性操作。这大大提高了仿真的难度，从而限制了其在强化学习的应用。

各种各样的测试地形配置凸显了机器人的适应性，这是通过基于螺杆和形状的运动相结合实现的。基于螺钉的运动允许对领导者-跟随者步态进行闭环路径跟踪，并且基于形状的运动被证明是一种有用的策略，可以使机器人摆脱可能意味着传统移动系统（如漫游车）终结的情况。此外，当螺旋运动被证明不太可靠时，基于形状的运动被证明是一种有效的导航松散地形的方法，例如粉雪或细沙。形状和螺钉控制包括一组控制器，这些控制器接收所需的路径、所需的控制器和偏差信息，并输出所需的接头角度和螺钉速度。不同的步态需要不同的控制方案。

ATM首先在视频数据上预训练一个语言条件轨迹预测模型，以预测视频帧内任意点的未来轨迹，而后，ATM框架通过利用视频中的轨迹信息，引导机器人学会执行一系列复杂的操作和任务，包括空间推理、物体操作、目标理解、长时视野规划以及跨形态和跨域的技能迁移。在视频中可以看到，借助ATM框架的强大助力，机器人仅需通过观察人类执行如叠衣服、将番茄放入盘子、用刷子整理玩具等无动作标签的视频数据集，学习其中任意2D点的轨迹建议，便能实现样本高效的策略学习，并具备跨具体任务的迁移能力，从而完美复刻人类的复杂动作！

传统的基于分析的抓取规划需要根据已知的被抓物体模型根据力闭合的条件判断抓取的好，这种方法只适合对已知的物体进行抓取。与之前的基于数据的抓取不同的是，他们没有使用费时费力的人工标定抓取的方式或机器人随机抓取来采集数据集，而是利用力闭合的原理通过分析的方式计算出抓取的好坏（是否力闭合）。上面的工作都是与任务无关的无序抓取，但是在机器人操作上抓取通常是有目的的。得益于他们使用的基于视觉的触觉传感器，可以天然的使用广泛应用的视觉处理神经网络（CNN），通过与抓取，机器人判断抓取的好坏并生成下一步的动作。