weixin_44887311的博客

不过研究人员也表示，当前RLFP框架仍依赖于人类工程来设计低层次技能和提示，并未真正完成自主生成的技能，此外，当前实验中使用的先验知识主要来自预训练的模型，并未打通网络端，在线获取或更新更加先进的知识。样本和函数复杂是制约强化学习在机器人交互当中的主要影响因素，在样本的获取方面，强化学习通常需要数百万次与环境的交互才能学会解决复杂任务，这在现实世界中是不切实际的。通过结合这些先验知识，RLFP框架能够提升强化学习的样本效率，减少对人类设计的奖励函数的依赖，同时对先验知识的形式具有一定的鲁棒性。

近日，美国西北大学John A. Rogers/黄永刚&西湖大学姜汉卿&大连理工大学解兆谦联合团队提出了一个微型化的机电结构，当与皮肤结合时，能够作为一个弹性储能元件，且支持双稳态，自感知变形模式，实现了压力、剪切力、振动、动态、静态的无线低功耗感知的系统级高度集成，文章于2024年11月6日发表于《Nature》正刊上。一个无线的、皮肤舒适的触觉界面，集成了这些双稳态传感器阵列，作为一个高密度通道，能够呈现来自智能手机的3D扫描和惯性传感器的输入。图2 传感器的机械特性和皮肤在维持双稳定性中的作用。

这篇工作将主要介绍了深度学习在六自由度抓取合成上的常见方法、深度学习在抓取过程中的支持方法以及数据集设计方法。近期就职于澳大利亚克莱顿市莫纳什大学的Rhys Newbury在TRANSACTIONS ON ROBOTICS期刊杂志上发表的 ”Deep Learning Approaches to Grasp Synthesis: A Review” 综述论文总结了近十年六自由度抓取合成的各类方法，其中最为常用的方法：基于采样的方法、直接回归方法、强化学习方法和范例方法。

针对该问题，来自中山大学和华为诺亚等单位的研究团队提出了一种全新的原语驱动的路径点感知世界模型，借助 VLMs 作为机器人的大脑，理解任务之间的动作关联性，并通过 “世界模型” 获取对未来动作的表征，从而更好地帮助机器人学习和决策。这样做有几个好处：它使得模型可以更好的学习任务与动作之间的内在关联性，减少其他干扰因素的影响，并更好地捕捉不同任务之间的相似性（例如，拧瓶盖和拧螺丝的动作是相似的，拿杯子和搭积木都有一个抓住物体的过程），从而使得模型可以在多任务数据下学习到可迁移的知识。

神经场已经成为计算机视觉和机器人技术中3D场景表示的一种变革性方法，能够从姿势的2D数据中准确推断几何、3D语义和动力学。利用可微分渲染，神经场包括连续隐式和显式神经表示，实现了高保真3D重建、多模态传感器数据的集成和新视点的生成。这项调查探讨了它们在机器人技术中的应用，强调了它们在增强感知、规划和控制方面的潜力。它们的紧凑性、内存效率和可微性，以及与基础模型和生成模型的无缝集成，使其成为实时应用的理想选择，提高了机器人的适应性和决策能力。本文基于200多篇论文，对机器人中的神经场进行了全面的回顾，对各个领

基于这一理念，研究团队在实验的收官阶段选择了一个未经预设的真实厨房环境，对ACDC的完整流程和自动化策略学习框架进行了全面的端到端测试。值得注意的是，与数字孪生不同，数字表亲并不追求在所有微小细节上都完美重建给定场景，而是专注于保留更高层次的细节，如物体间的空间关系和语义信息。2、随着测试环境与训练环境差异的增大，数字表亲训练的策略展现出更强的鲁棒性。同时，团队比较了数字表亲和数字孪生在策略训练方面的效果，既在原始环境中进行评估，也测试了在分布外设置中的表现，以验证数字表亲训练策略的稳健性和适应能力。

首先，从基于特征的策略中筛选出成功的轨迹，这些轨迹代表了策略在不同任务参数下的有效行为。为了实现仿真到现实的迁移，DemoStart还引入了一种策略蒸馏技术，将基于仿真特征的策略转换为基于视觉的策略，从而使得训练出的策略能够在真实环境中执行。近日，谷歌DeepMind团队提出了一种名为DemoStart的新型自主强化学习方法，该方法能够在只有少量示范和稀疏奖励的情况下，让装备有机械手臂的机器人在仿真环境中学习复杂的操作技能，并成功实现了零样本的仿真到现实迁移。

考虑一个复杂的高维系统，例如在开放空间中学习的具备移动能力的多足机器人，其可探索的空间比受限的桌面环境大得多。本文的方法主要包括以下几个核心组件：(1) 任务相关的自主性，用于收集具有有用学习信号的数据，(2) 通过整合先验知识与学习策略实现高效控制，(3) 结合高级视觉-文本语义与低级深度观测的灵活奖励设定。图 1：持续自主学习：本文使一个具备移动能力的多足机器人通过在现实世界中的练习，学习执行多种任务，如移动椅子（上图，左和右）、扶正簸箕（上图，中间）以及扫地（下图），并且几乎不需要人为干预。

近几年由于材料科学的进步，软机器人相关技术近几年研究成果显著，与传统的刚性机器人相比，软机器人的设计灵感来源于自然界中的生物系统，如蠕虫、章鱼、壁虎和青蛙等。通过轻质材料的选择和模块化设计的应用，FiBa执行器拥有了轻量化和多功能特性，这一设计不仅解决了传统软机器人的重量问题，还在实际场景中拥有极高的泛化性。为了验证FiBa执行器的性能和多功能性，研究团队成功展示了四种不受束缚的仿生运动模式，分别为受海龟启发的爬行、受尺蠖启发的攀爬、受蝙蝠启发的栖息和受瓢虫启发的飞行。

i 如果蚂蚁微型机器人的轴线与磁方向之间存在角度，则会在蚂蚁微型机器人上产生磁扭矩，从而引起蚂蚁微型机器人的旋转运动，以沿着磁场的方向排列。随着微纳制造技术和材料科学的快速发展，基于刺激响应材料的微型机器人得到了发展，它们表现出优异的响应变形特性、高度的环境适应性和强大的功能性。然而，从微型机器人的数量来看，当前的研究通常集中在单个可变形的微型机器人上。尽管可以可控地实现单个微型机器人的可逆、动态和快速的变形或运动，但是多个可变形微型机器人之间稳定、可逆的连接以形成集体以及它们的运动和应用尚未得到验证。

具体来说，他们设计了一个柔性多足步行机器人（也就是开头看到的“海星”），将菌丝体产生的电信号经过阈值检测等处理，转化为数字控制信号，通过Arduino单片机输出PWM波控制气动阀和直流电机。为了屏蔽外界电磁干扰，研究人员将装有菌丝体和电极的支架置于自制的法拉第笼内，以10S/s的采样率记录电信号，持续30余天。为了能用真菌产生的生物信号作为机器人的控制信号，研究人员开发了一种菌丝体电接口，可以进行长期稳定的生物电捕捉和记录。首先，作者将幅值小于5μV的信号作为噪声剔除，然后进行了平滑去噪和三阶多项式拟合。

目前工作包括五个关键实验：用于提供状态信息的机翼应变传感器系统初步验证，在风变化的单自由度运动环境中的控制技术，在重力姿态调整的两自由度运动环境中的控制技术，在有风条件下的位置控制测试，以及在无风条件下，仅使用机翼应变传感器的精确飞行路径操纵的演示。在强化学习驱动的飞行控制器帮助下，已经成功地演示了仅使用机翼应变传感器，在各种环境中控制扑翼无人机。研发了可应用于扑翼无人机的“感知飞行”控制技术，利用施加在扑翼无人机机翼上的气动力，推导重要的飞行数据，如姿态和气流，而无需加速计和陀螺传感器。

前不久，来自瑞士洛桑联邦理工学院智能系统实验室、生物机器人实验室以及美国纽约州立大学石溪分校Soft Flyers小组的研究人员，受动物和蝙蝠肢体在抓握和栖息树木方面的适应性启发，精心设计了一种两用机翼，这种机翼不仅在空中滑翔时表现出色，还可使有翼机器人能够依靠被动机翼变形，在树木、建筑脚手架、电塔、路灯、电线杆等多种类型的垂直杆上实现紧急降落。相反，它巧妙地选择了利用现有无人机元素的双重用途策略，其中就包括使用前肢（即翅膀）紧紧抱住杆子，并保持重心靠近杆子，以最小化后仰效应，确保了栖息的稳定性。

其实验结果如下图所示。由于两个智能体共享了由SAC策略探索的数据并存放在SAC缓冲区中，与SAC策略相比，并发训练的IQL策略能够在数据不断增长的情况下自动辨识出性能更优的策略，即随着数据的增多与覆盖度提升，这样的方式能够更好地利用已收集的数据，获得更佳的策略性能。在6个任务类的53个任务中，包含了多关节运动控制、机械臂操作任务、复杂肌肉控制等，该方法超越了经典的非策略无模型强化学习方法，并与基于模型的强化学习方法具有相当的采样效率和性能，而训练耗时降低了5倍，参数量降低了2倍，显著提升了训练效率。

通过对照化石图像和触觉图像，我们发现生物特征都能在镀层上清晰地映射，比如海百合茎的螺纹，石燕贝的斜纹，蜗牛的螺旋线，芦木的条状纹路、狼鳍鱼的鱼骨和三叶虫的叶片纹路。通过识别测试，提出的视触觉传感器的成像效果和可学习性是具有野外探测的潜力。我们提出了一种低成本、更简易的视触觉传感器制备方案，包括硅胶胶带的层积工艺与铜箔的贴金工艺。相比于电子类触觉传感器，视触觉传感器的原理通俗易懂，这为非传感器专业的科研人员的跨学科应用提供了基础。最重要的是，这个方案可以提供快捷的硬件修复和更换，降低了维护难度。

更重要的是，Quest 2 的 API 接口允许创建自定义的混合现实世界，将机器人系统与 VR 中的诊断面板一起可视化。在这个虚拟世界中，教师可以从机器人的眼睛中查看机器人「看到」的场景，并通过内置的姿势检测器控制 Allegro 机械手。由于该研究提出的策略是基于视觉的，并且不需要明确估计对象的状态，因此它们能与训练中未见过的对象兼容。为了选择获得低维嵌入的学习算法，该研究尝试了几种最先进的自监督学习算法，发现 BYOL 提供了最好的最近邻结果，因此选择 BYOL 作为基本的自监督学习方法。

对于15个物体中的5个，还进行了一组基线实验来评估SimPLE每个核心组件的影响：任务感知抓取、触觉定位和视觉定位。最后，对于与任务无关的基线，该基线没有使用任务感知的抓取选择，而是根据Dex-Net (2)的抓取质量指标选择抓取。之后，我们使用在模拟中学习到的任务感知质量指标来评估每个采样抓取的质量，并命令机器人执行最佳的反足抓取（图3-A）。给定物体姿态的最佳估计，之后机器人计算出一组运动，这其中也包括必要的物体重新抓取的情况，并将物体放置在所需的配置之中（图3-C）。图6 任务感知抓取有助于感知。

在仿真过程中，首先携带所有信息的粒子将信息以插值的方式传递到附近的网格节点中，接下来节点将信息传递回附近的粒子，在这个过程中弹性形变所引起的信息变化将会考虑，如形变梯度导致的局部速度变化。如图4所示，与其他方法相比，Tacchi可以生成更高质量的仿真触觉图片，而在Tacchi生成的图片中，粒子密度大会生成光滑的图片，而粒子密度小，物体表面会很粗糙。较低的粒子密度会导致粗糙的表面，而较高的粒子密度会导致光滑的表面，作者在实验中验证了这一结论，并利用其生成了逼真的仿真图片。图2. Tacchi仿真策略示意图。

SEIKO重定目标部分从操作员的笛卡尔命令中计算出全身期望配置，而SEIKO控制器则利用关节柔性模型，从力-力矩测量误差中计算关节位置修正，以实现接触力的控制并防止超过关节力矩限制。在远距离任务中，机器人能够在保持平衡的同时，伸展手臂以触及远处的目标。SEIKO控制器通过利用显式柔性模型和顺序QP优化方法，实现了对位置控制机器人接触力的间接控制，为多触点全身力控制提供了一种创新的解决方案。在针对全尺寸人形机器人Talos的实验中，通过应用该控制器的新方法，成功验证了其在多触点任务中的卓越有效性和鲁棒性能。

高质量的四足机器人已经广泛使用，但是，致力于控制人形机器人和两足动物的工作要少得多，这在稳定性、机器人安全性、自由度数量和合适硬件的可用性方面带来了额外的挑战。然而，它也学到了更少的敏捷行为。动物和人类不仅是自己身体的主人，能够流畅而轻松地执行和组合复杂的动作，而且还可以感知和理解他们的环境，并利用他们的身体来影响世界上的复杂结果。与可以直接访问球、球门和对手位置的基于状态的智能体相比，基于视觉的智能体需要从有限的高维以自我为中心的相机观察历史中推断信息，并随着时间的推移整合部分状态信息。

对于剩下的11名身体健全的参与者，我们获得M1分类器的校准准确率为77.9±7.8%（“movlook”和“rest”），M2的校准准确率为62.5±6.5%6.5%（“movlook”vs“only look”）。身体健全的参与者坐在一张普通的椅子上，右臂安全地绑在扶手上，右手放在一个小球上，以获得额外的舒适感（图1a）。在本文中，我们提出了一个快速在线研究的结果，整合了自然运动控制的三个方面，即目标导向的运动意图、运动轨迹解码和错误处理，在一个独特的混合框架中，以实现使用脑电图信号对光标的闭环控制。

在实验中尽管工作人员在机器人执行任务的时候，手动拖拽并且打散勺子中的玻璃球，使其偏离轨道，但机器人依然不会停下来，回到原点重新执行任务，同时也不会在勺子上没有玻璃球之后，继续执行任务，而是能够自我纠正，在完成每个子任务后再继续下一个任务。研究团队的新算法将LLM针对特定子任务的自然语言标签与机器人在物理空间中的位置，以及编码机器人状态的图像连接起来，将机器人的物理坐标或机器人状态图像映射到自然语言标签，随后根据机器人的物理坐标或图像视图，自动识别机器人所处的语义子任务。机器人2D导航任务的图示。

此外，规划器还能够选择对不确定性具有鲁棒性的策略，其中行动的成本与其在开环执行中的成功概率挂钩，给定基于力的约束参数的扰动。为了完成这些复杂的、多步骤的力控操作任务，机器人需要做出离散的决定，例如，是否用手指、手掌或工具推动瓶盖，以及是否通过与表面的摩擦接触、使用另一个抓手或虎钳来固定瓶子。我们的系统可以对完成这项强力操作任务的组合策略进行推理，包括使用其末端执行器的各个部分进行推捻，使用工具（蓝色）进行推捻，用虎钳固定（灰色），固定在桌子上，或固定在高摩擦橡胶垫上（红色）。

面对这一挑战，来自加州大学伯克利、斯坦福大学、华盛顿大学以及谷歌的学者们共同开发了名为高效机器人强化学习套件（SERL）的开源软件框架，致力于推动强化学习技术在实际机器人应用中的广泛使用。为了确保机器人可以在复杂的物理环境中安全精确地探索与操作，SERL 为 Franka 机械臂提供了特殊的阻抗控制器，在保证准确性的同时确保与外界物体接触后不产生过大的力矩。通过这些技术和方法的结合，SERL 大大缩短了训练时间，同时保持了高成功率和鲁棒性，使机器人能够在短时间内学习完成复杂任务，并在现实世界中有效应用。

在动态手臂摆动方面，通过部署控制器，机器人能够展现出与人类相似的动态手臂摆动行为，这种行为与腿部运动相协调，保持了对侧的特性。该控制器通过自回归的方式，根据过去的观察和动作历史来预测未来的动作。从在平坦区域自然行走，到下坡时采用小步行走，再到再次自然行走，这种步态的调整是自发的，并未在训练期间预设。此外，研究人员还命令机器人在包含三个部分的地形上前行：首先是平坦区域，然后是一个向下倾斜的斜坡，最后再次是平坦区域。这样的训练方法确保了模型在处理复杂环境时的强大适应性和鲁棒性，为未来的应用提供了坚实的基础。

Ddog收集的原始数据是从五个摄像头汇总而来的。作者绘制了一个大的实验室空间，将其设置为一个「公寓」，其中包含「厨房」区域（有一个装有不同杯子和瓶子的托盘）、「客厅」区域（带枕头的小沙发和小咖啡桌）， 和「窗口休息室」区域。集群中的每个容器都设计为单一用途（微服务架构），每个服务都是一个正在运行的AI模型，它们的任务包括：导航、映射、计算机视觉、操纵、定位和代理。对于患有ALS的受试者，本文的模型在MA任务中达到了73%的准确率，在WA任务中达到了74%的准确率，在ME任务中达到了60%的准确率。

随后，导航和拾取基元将按顺序分步执行，移动到所需夹取的物品前进行拾取，之后在需要放置的位置，将物品放置。纽约大学的机器人专家团队与Meta人工智能学院研发人员共同合作开发了一种新型机器人，该机器人具备在非结构化环境下的认知能力，可在陌生房间利用视觉语言模型（VLMs），进行物品的抓取与放置。研究团队指出，OK-Robot所搭载的系统是零样本算法，这意味着OK-Robot没有在工作环境中接受过训练，因此所取得这样的成绩，证明搭载VLMs功能的机器人是可行的。

简单来说，这些图表展示了在特定条件下，通过恢复策略搜索得到的最佳运动指令，以及这些指令如何影响 RA 值，从而反映机器人在不同运动状态下的安全性。「达防」（Reach-Avoid, RA）值学习的创新之处在于，它采用了无模型的方式学习，与传统的基于模型的可达性分析方法不同，更适合无模型的强化学习策略。敏捷策略让机器人在障碍环境中快速移动，而一旦 Reach-Avoid Value Estimation 检测到潜在危险（比如突然出现的婴儿车），恢复策略就会介入，确保机器人安全。

马尔可夫相机、雷达、传感器。

该方法在奖励函数的设置上不需要过多的 human design，因为原始动作已经提供了一个比较好的「如何抓」的引导，在训练强化学习模型时，除了给定成功抓取和抓取后的高度变化奖励，仅仅只需要一个奖励函数去鼓励机械手跟随原始动作即可。如上所示，为了解决「何时抓取」的问题，新方法还训练了一个基于强化学习的残差策略，它首先会输出一个「缩放动作」，根据手腕轨迹的历史，决定手指关节应该以多快的速度沿着原始动作的方向移动。新方法真正实现了灵巧的抓取，能在真实世界中对于不同的物体，不同的抓取姿态，不同的抓取轨迹进行泛化。

先前的RL/MARL结果已经证明了我们的单个任务是可解的。总的来说，随着任务所对应的人的年龄增加，RL的难度也随之增加，这证明了我们的任务设计是合理的，与人类灵巧操作的发展相关。此外，在灵巧的手底部使用机械臂驱动器不仅符合现实世界的设置，而且也是虚实迁移必须要做的一步，因为漂浮在半空的手的动力学很难与现实世界相匹配，因此会扩大sim2real gap。最终，我们的实验表明，强化学习能够帮助机器人在这些具有挑战性的任务中取得一些显著的成果，而且在未来的工作中还有一些改进的空间和以及挑战更困难的任务。

部署方案：研究人员在真实家庭环境中进行了一系列实验，在这些实验中，他们将经过训练的算法部署在Hello-Robot机器人公司的多功能移动家庭机器人Stretch上。经过五分钟的演示和十五分钟的HPR模型调整，机器人在10个家庭被教导完成109种不同的家务活，取得了81%的成功率。能够适应和学习我们的需求并保持成本效益的家庭助理----“通才机器人” 在大规模商业化方面尚未取得突破。第二是改进机器人传感器和摇杆，迭代深度传感器，添加更多数据视图，并添加更多传感器模式，例如触摸和声音。

我们的算法不需要动作捕捉数据，也有较高的动作质量和不错的鲁棒性。在图形学领域中，我们的工作是第一篇关于使用筷子的研究，其代表的是更广泛的难以解决的多接触操纵和控制问题。在运动规划过程中，我们训练了一个基于神经网络的抓取模型来估算抓取物体的最佳筷子配置，并根据物体的起始和目标位置，利用轨迹优化结合逆向运动学的方法生成无碰撞的筷子和手的运动轨迹。在我们的方法中，针对每一种可能的抓取方式，我们利用贝叶斯优化计算最优的抓取姿势，从而让一只移动的虚拟手可以在物理模拟中牢牢抓住筷子，并实现一些基本的开合筷子的动作。

四种不同数据回收方案的处理时间和CPU使用情况的箱形图，范围从无数据结构重用到部分重用和完全重用。指的是两个点云中的两个点的距离差。（1）提出了一个定制的“速度优先”的处理流程，这个流程可以实时精确的估计位姿，对预处理的需求比较小，并且IMU是可选项。（3）定制迭代点云解算器NanoGICP，用于轻型点云扫描点的匹配，具有跨对象数据共享和数据重用的功能。（2）提出了一个新的关键帧系统，可以根据环境信号自适应的选择关键帧，并且可以通过凸优化快速的生成子图。与帧间匹配类似，这里的输出即为机器人最终的估计位姿。

评估指标。

AI的过去未来。