自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(361)
  • 收藏
  • 关注

原创 重磅!CoRL 2024顶刊会议 清华大学高阳研究组发布“基于大模型先验知识的强化学习”

不过研究人员也表示,当前RLFP框架仍依赖于人类工程来设计低层次技能和提示,并未真正完成自主生成的技能,此外,当前实验中使用的先验知识主要来自预训练的模型,并未打通网络端,在线获取或更新更加先进的知识。样本和函数复杂是制约强化学习在机器人交互当中的主要影响因素,在样本的获取方面,强化学习通常需要数百万次与环境的交互才能学会解决复杂任务,这在现实世界中是不切实际的。通过结合这些先验知识,RLFP框架能够提升强化学习的样本效率,减少对人类设计的奖励函数的依赖,同时对先验知识的形式具有一定的鲁棒性。

2024-11-10 15:06:51 299

原创 CoRL2024 聚焦「视听触感官」协同配合的具身智能操作

本文借鉴人类的基于阶段理解的多感官感知过程,提出了一个由阶段引导的动态多传感器融合框架 MS-Bot,旨在基于由粗到细粒度的任务阶段理解动态地关注具有更高质量的模态数据,从而更好地应对模态时变性的挑战,完成需要多种传感器的精细操纵任务。我们还放松了对阶段边界附近的样本上的相邻阶段分数惩罚,从而实现软约束效果,得到更平滑的阶段预测。如图 4 所示,MS-Bot 准确地预测了任务阶段的变化,并且得益于模型中由粗到细粒度的任务阶段理解,三个模态的注意力分数保持相对稳定,表现出明显的阶段间变化和较小的阶段内调整。

2024-11-09 10:16:42 436

原创 Science Robotics 综述揭示演化研究新范式,从机器人复活远古生物!

这种方法不仅能够复现已知的化石足迹,更重要的是,能够理解这些足迹形成的具体机制,为重建早期陆生脊椎动物的运动方式提供了重要线索。3D打印技术的精进让我们能够制作更精细的机器人部件,材料科学的发展为模拟生物组织提供了新的可能,而人工智能的应用则让我们能够更有效地探索形态空间。现有的机器人平台大多只能实现预设的形态变化,而真正的生物演化是一个开放式的、充满创新的过程。在这个循环中,古生物学提供了化石证据,生物学研究现生物种,生物启发机器人帮助验证具体的运动机制,而古生物启发机器人则探索了各种可能的演化路径。

2024-11-09 10:13:37 605

原创 Nature正刊:西湖大学姜汉卿教授与John A. Rogers-黄永刚-解兆谦联合开发新型的多模态触觉反馈智能穿戴装置

近日,美国西北大学John A. Rogers/黄永刚&西湖大学姜汉卿&大连理工大学解兆谦联合团队提出了一个微型化的机电结构,当与皮肤结合时,能够作为一个弹性储能元件,且支持双稳态,自感知变形模式,实现了压力、剪切力、振动、动态、静态的无线低功耗感知的系统级高度集成,文章于2024年11月6日发表于《Nature》正刊上。一个无线的、皮肤舒适的触觉界面,集成了这些双稳态传感器阵列,作为一个高密度通道,能够呈现来自智能手机的3D扫描和惯性传感器的输入。图2 传感器的机械特性和皮肤在维持双稳定性中的作用。

2024-11-08 10:21:16 175

原创 Science Robotic 综述论文:通过机器人技术了解自我意识

在这两种情况下,机器人的体现使我们能够设计和测试关于自我本质的假设,关于它的发展、它在行为中的表现以及人类、动物和潜在的机器中自我的多样性。https://www.science.org/doi/10.1126/scirobotics.adn2733Science Robotic 近期发表的综述论文,回顾了解决自我主题(最小自我、扩展自我和自我障碍)的机器人学研究,并强调了通过在人工系统中构建自我组成部分来理解自我的未来方向和开放挑战。

2024-11-07 09:43:05 397

原创 IEEE TRO综述论文:抓取合成领域的深度学习方法

这篇工作将主要介绍了深度学习在六自由度抓取合成上的常见方法、深度学习在抓取过程中的支持方法以及数据集设计方法。近期就职于澳大利亚克莱顿市莫纳什大学的Rhys Newbury在TRANSACTIONS ON ROBOTICS期刊杂志上发表的 ”Deep Learning Approaches to Grasp Synthesis: A Review” 综述论文总结了近十年六自由度抓取合成的各类方法,其中最为常用的方法:基于采样的方法、直接回归方法、强化学习方法和范例方法。

2024-11-06 10:22:42 697

原创 NeurIPS 2024 | 机器人操纵世界模型来了,成功率超过谷歌RT-1 26.6%

针对该问题,来自中山大学和华为诺亚等单位的研究团队提出了一种全新的原语驱动的路径点感知世界模型,借助 VLMs 作为机器人的大脑,理解任务之间的动作关联性,并通过 “世界模型” 获取对未来动作的表征,从而更好地帮助机器人学习和决策。这样做有几个好处:它使得模型可以更好的学习任务与动作之间的内在关联性,减少其他干扰因素的影响,并更好地捕捉不同任务之间的相似性(例如,拧瓶盖和拧螺丝的动作是相似的,拿杯子和搭积木都有一个抓住物体的过程),从而使得模型可以在多任务数据下学习到可迁移的知识。

2024-11-05 20:56:08 801

原创 机器人神经场的全面盘点:导航/自动驾驶/姿态估计应用一览无余

神经场已经成为计算机视觉和机器人技术中3D场景表示的一种变革性方法,能够从姿势的2D数据中准确推断几何、3D语义和动力学。利用可微分渲染,神经场包括连续隐式和显式神经表示,实现了高保真3D重建、多模态传感器数据的集成和新视点的生成。这项调查探讨了它们在机器人技术中的应用,强调了它们在增强感知、规划和控制方面的潜力。它们的紧凑性、内存效率和可微性,以及与基础模型和生成模型的无缝集成,使其成为实时应用的理想选择,提高了机器人的适应性和决策能力。本文基于200多篇论文,对机器人中的神经场进行了全面的回顾,对各个领

2024-11-03 19:51:31 948

原创 机器人迈向ChatGPT时刻!清华团队首次发现具身智能Scaling Laws

他们发现了具身智能领域的 “圣杯”——data scaling laws,让机器人实现了真正的零样本泛化,可以无需任何微调就能泛化到全新的场景和物体。视觉编码器必须经过预训练和完整的微调,缺一不可扩大视觉编码器的规模能显著提升性能最令人意外的是:扩大扩散模型的规模却没能带来明显的性能提升,这一现象还值得深入研究。当环境数量足够多时,在单一环境中收集多个不同的操作物体的数据收益极其有限 —— 换句话说,每个环境只需要一个操作物体的数据就够了。Scaling Laws:从 ChatGPT 到机器人的制胜法则。

2024-11-01 12:16:23 650

原创 Nature Electronics 用于语音识别的液体声传感器,基于悬浮在载液的钕-铁-硼磁性纳米颗粒

我们的工作受到鲸鱼额头中的脂肪组织的启发,”该论文的通讯作者陈俊(Jun Chen音译)说,“脂肪组织集中并调节用于回声定位的发声,将其声学特性与周围的水体相匹配,从而使声音以最小的能量损失传播。”在他们最近的研究中,陈和他的同事着手开发一种很有前景的新型传感系统,该系统可以模拟鲸鱼额头中脂肪器官的功能。“人工智能在我们的感测系统中发挥着关键作用,特别是支持语音识别,”陈解释说,“得益于液态声学传感器捕获的低噪声信号,该系统在深度学习算法的支持下实现了高识别率。

2024-10-31 10:57:38 372

原创 Advanced Functional Materials 人工皮肤—基于视触觉传感的三维重建技术:材料、方法和评估

例如,集成涂层和标记阵列的视触觉传感器可以实现纹理映射/重建和力感知,但是标记影响了重建精度(引发小的肿块)。图2 三维重建所需的光照方案2 硬件对3D重建的影响深度相机直接输出深度信息,但是成像距离限制了其在视触觉传感器应用的通用性。基于光流法的三维重建是密集标记物在深度标定的一次有趣的探索。但是,需求突出标记的特异性,让网络对相邻的标记生成高灵敏的边界感。图1 基于视触觉传感三维重建技术概览1 三维重建技术概览视触觉传感的载体是视觉,其三维重建技术与基于机器视觉的三维重建技术有相似之处但也有本质区别。

2024-10-30 08:51:23 761

原创 李飞飞团队新突破:低成本高泛化机器人训练法,零样本迁移成功率90%!

基于这一理念,研究团队在实验的收官阶段选择了一个未经预设的真实厨房环境,对ACDC的完整流程和自动化策略学习框架进行了全面的端到端测试。值得注意的是,与数字孪生不同,数字表亲并不追求在所有微小细节上都完美重建给定场景,而是专注于保留更高层次的细节,如物体间的空间关系和语义信息。2、随着测试环境与训练环境差异的增大,数字表亲训练的策略展现出更强的鲁棒性。同时,团队比较了数字表亲和数字孪生在策略训练方面的效果,既在原始环境中进行评估,也测试了在分布外设置中的表现,以验证数字表亲训练策略的稳健性和适应能力。

2024-10-29 16:31:38 1146

原创 International Journal of Robotics Research综述分享:深度解析模块化自重构机器人前世今生

为此,香港中文大学(深圳)的研究团队对近40年来的模块化自重构机器人硬件与设计进行了全面调研,提出了一套创新且统一的概念框架,用于深入理解模块化自重构机器人系统的硬件构成。同时,算法的进步大幅促进了硬件技术的发展,使得这一领域迅速成熟,吸引了越来越多的跨学科研究力量加入,推动了相关技术的快速推广和应用。随着技术的进步,分类方法日益复杂,导致了一定程度的混乱。随着技术的不断进步和多样化设计理念的兴起,这类机器人的种类日趋丰富,不同类别通过各自的形态与功能特点进行描述,致使该领域的分类体系日益模糊。

2024-10-28 11:02:12 1101

原创 香港大学联合上海AI LAB,提出首个人机交互一体化大模型

随后大模型内部的网络会将该特征分为不同的对象类型(Object)来进行学习,对象类型(Object)是通过预训练的模型获取的,基本能够涵盖人类指令中涉及的机器人交互对象。这种多模态推理在实际任务中的表现,证明了该方法能够有效将视觉感知和语言描述转换为实际的操作行为,如图6中,提示词为“帮助玩具坐在车上”,这里的“坐”和“放”体现了玩具的不同姿态,机器人需要敏锐的区分这里的动词,并实现不同的抓取和放置,从图中来看最终玩具很好的“坐在”车上,而不是被“放在”车上,体现出了RoboCodeX的有益效果。

2024-10-25 09:44:03 626

原创 视触觉传感仿真器Tacchi升级版,支持多模式接触运动

在旋转实验中,我们采集了三种探针(不包括本身中心对称的探针,因为旋转前后几乎无差别)的顺时针和逆时针旋转数据,旋转角度从0度到45度,以5度为间隔,共获得60张旋转图像。路径追踪算法追踪光线传播的路径,判断光线和物体的相交情况,可以真实模拟光线在空间中传播时产生的反射、折射、散射、叠加和衰减,可以提供更为真实的光影效果。对于旋转的情形,朴素MPM也存在类似的问题。图5、6:左右两图分别展示了滑移和旋转的仿真结果,每张图片最左侧为采集的真实数据,中间为朴素MPM的仿真结果,右侧为IMPM的仿真结果。

2024-10-25 09:29:11 470

原创 Google DeepMind推出DemoStart自主强化学习方法 利用少量示范样本实现复杂操作任务

首先,从基于特征的策略中筛选出成功的轨迹,这些轨迹代表了策略在不同任务参数下的有效行为。为了实现仿真到现实的迁移,DemoStart还引入了一种策略蒸馏技术,将基于仿真特征的策略转换为基于视觉的策略,从而使得训练出的策略能够在真实环境中执行。近日,谷歌DeepMind团队提出了一种名为DemoStart的新型自主强化学习方法,该方法能够在只有少量示范和稀疏奖励的情况下,让装备有机械手臂的机器人在仿真环境中学习复杂的操作技能,并成功实现了零样本的仿真到现实迁移。

2024-10-24 09:59:59 922

原创 CoRL 2024 | 波士顿动力自主强化学习助力移动操作持续提升

考虑一个复杂的高维系统,例如在开放空间中学习的具备移动能力的多足机器人,其可探索的空间比受限的桌面环境大得多。本文的方法主要包括以下几个核心组件:(1) 任务相关的自主性,用于收集具有有用学习信号的数据,(2) 通过整合先验知识与学习策略实现高效控制,(3) 结合高级视觉-文本语义与低级深度观测的灵活奖励设定。图 1:持续自主学习:本文使一个具备移动能力的多足机器人通过在现实世界中的练习,学习执行多种任务,如移动椅子(上图,左和右)、扶正簸箕(上图,中间)以及扫地(下图),并且几乎不需要人为干预。

2024-10-24 09:56:04 479

原创 字节跳动研究人员提出机器人大模型GR-2,具备世界建模和强大泛化能力

在 7 亿参数规模的验证中,团队看到了令人鼓舞的结果:更大的模型不仅能够处理更多复杂的任务,而且在泛化到未见过的任务和场景时也表现得更加出色。我眼里有活儿更让人惊艳的是,GR-2 还能够与大语言模型相结合,完成复杂的长任务,并与人类进行互动。这种能力,不仅提升了 GR-2 动作预测的准确性,也为机器人的智能决策提供了新的方向。除了能够处理多达 100 余种不同的物体,例如螺丝刀、橡胶玩具、羽毛球,乃至一串葡萄和一根辣椒,GR-2 在未曾见过的场景和物体上也有着出色的表现。GR-2 的旅程,才刚刚开始。

2024-10-23 20:15:52 933

原创 NeurIPS 2024 麻省理工学院何恺明教授提出异构预训练Transformer,拟解决多个异构机器人操作技能学习

受到多模态数据学习的启发,HPT使用了特定于本体的分词器(stem)来对齐各种传感器输入,映射为固定数量的token,之后送入Transformer结构的共享主干(trunk),将token映射为共享表示并进行预训练。模拟环境如下图10(a)中,研究人员在闭环模拟中测试了下游任务的模型,并观察到使用HPT-B到HPTXL预训练模型,提到的任务成功率。HPT概念示意图HPT所要做的,就是找到一种共享的策略「语言」,能够对齐来自不同预训练的异质的本体感觉和视觉信息,将自己的信号映射到共享的潜在空间。

2024-10-23 20:13:03 598

原创 灵巧手抓取策略迁移:一手训练,多手应用

手无关的状态和动作表示:提出了一种通用的表示方法,这种表示结合了灵巧手间通用的关键点以及侧重刻画手和场景交互的几何特征,分别避免了灵巧手结构和几何差异对策略泛化带来的影响,使其能够在不同的机械手之间转移,无需针对每个机械手单独训练策略模型;图 2. 跨手迁移的抓取策略在不同灵巧手和物体上的泛化效果定量测试方面,该工作首先测试了方法中的主要设计对灵巧手抓取策略性能和泛化性的影响,包括两阶段分离的策略设计,通用的表征设计,基于 transform 的网络结构设计。

2024-10-22 09:49:57 620

原创 重磅分享:Science Robotics 2017-2023年封面论文研究总览

无论是完全自主还是与人类密切合作,机器人都变得无处不在。在太空和深海探索中,在手术室或驾驶汽车中,它们的影响力与日俱增。Science Robotics 期刊为最新的技术进步以及围绕机器人关键技术的社会、道德和政策问题提供了一个高质量学术平台。它是多学科的,涵盖了机器人技术的传统学科,以及先进材料和仿生设计等新兴趋势。它涵盖了从超大型系统到微/纳米机器人;其范围很广,既涉及理论进展,也涉及实际应用。在此总览2017-2023年Science Robotics 封面论文情况。1、2023年12期封面论文12月

2024-10-22 09:46:28 672

原创 斯坦福大学李飞飞教授团队最新研究:聚焦机器人抓取交互,让机器人操作真正地适应各种环境

此外,该实验设计还引入了回退机制,以应对阶段间的重新规划,例如当最后一个阶段的任何子目标约束不再满足时(如在倒茶任务中杯子从夹具中取出),系统会回退到一个满足路径约束的先前阶段。基于此,研究人员提出了一个问题:如何表示机器人操作中的约束,使其能够广泛应用于各种任务,具有可扩展性,并能够通过现成的求解器进行实时优化,以适应复杂的操作行为?最后,当前的公式假设每个任务的阶段序列是固定的,重新规划不同的骨架需要在高频下运行关键点提议和VLM,这带来了相当大的计算挑战。

2024-10-21 11:03:00 1001

原创 ICRA@40 周年大会:多指手既可抓取,又可以变成多足机器人

因为我们当然知道——这就是(我们大多数人)的构建方式,这就是我们因此优化周围世界的思维方式。但机器人的一大优点是它们不必受到我们的限制,本周在鹿特丹的 ICRA@40 上,我们看到了一个新颖的新事物:一种可以脱离手臂的机械手,然后四处爬行以抓住原本无法触及的物体,由瑞士 EPFL 的机器人专家设计。但机器人的一大优点是它们不必受到我们的限制,本周在鹿特丹的 ICRA@40 上,我们看到了一个新颖的新事物:一种可以脱离手臂的机械手,然后四处爬行以抓住原本无法触及的物体,由瑞士 EPFL 的机器人专家设计。

2024-10-21 10:56:50 421

原创 PRCV 2024 - Day3

王院士在报告中分析了大模型驱动的人形机器人技术进展,介绍了人形机器人研究背景与意义、国内外研究现状、大模型驱动的人形机器人关键技术,如大型自然语言模型、多模态视觉语言模型、具身智能多模态大模型等,以及发展趋势与展望,并举例介绍了具身智能人形机器人是国际公认的机器人技术集大成者和科技竞争的制高点,可推广应用于工业制造、国防安全、智能服务和智慧医养等行业,具有广阔的前景和巨大的潜力。人工智能的发展和应用一直面临着智能孤岛的问题,即各种数据中的知识只能通过不同的模型学习,而不能累积学习。

2024-10-20 20:26:56 871

原创 PRCV 2024 - Day2

主会场 —— 主旨报告报告题目:大模型背景下的数字内容取证讲者:谭铁牛(中科院自动化所,中国科学院院士)图1 大模型背景下的数字内容取证在数字化时代,随着人工智能技术的迅猛发展,尤其是深度学习的广泛应用,数字内容的生成和编辑变得更加便捷高效。然而,技术的双刃剑特性也带来了新的挑战,特别是在数字内容取证领域。生成式大模型如今能够生成逼真的文本、图像、音频和视频,可能被用于制造虚假信息、深度伪造等恶意目的,严重威胁社会秩序和信息安全。在这种背景下,取证工作变得日益复杂,需要更先进的技术手段应对伪造技术的

2024-10-20 08:50:25 930

原创 PRCV 2024 - Day 1

周奕毅教授分享的主题是“机遇与挑战—多模态语言大模型研究进展介绍”,为尚未了解多模态语言大模型的参会者简要介绍了它的发展历程、主要模型架构、国内外研究差距、应用场景、存在的不足之处和未来的研究方向和发展趋势,帮助我们推开了认识多模态大模型的大门。郭龙腾老师分享的主题是“多模态预训练模型的构建与应用”,从引入多模态模型预训练的需求开始,层层深入,逐步介绍多模态预训练模型的构建方法和实施过程,再引申到多模态的理解与生成,并分析了多模态预训练模型所面临的技术挑战与未来展望。

2024-10-19 14:03:09 727

原创 基于光度学的小型视触觉传感器的开发

通过对传感器结构的优化,研究者提出了一种紧凑的传感器设计,使其厚度仅为14毫米,长度约为44毫米,适用于狭小环境中的抓取操作。通过与提出的传感器设计进行比较,结果表明,不使用镜子的设计由于相机视角的扭曲,图像存在明显的透视变形,影响了接触表面的深度重建。该研究提出的小型光度视觉触觉传感器成功缩小了传感器尺寸,解决了传统视触觉传感器体积大的问题,同时保持了良好的表面感知性能。研究结果还显示,荧光颜料涂层提供了稳定且一致的光照效果,并且避免了LED照明引发的过热问题,延长了传感器的使用寿命。

2024-10-18 01:15:42 963

原创 Advanced Intelligent Systems 综述论文:视触觉传感器的力测量技术

首先,介绍标记型VTS的工作原理,包括单层标记、双层标记、颜色编码和光流。文章首先介绍了单层标记、双层标记、彩色编码和光流等标记型VTS的工作原理,深入讨论了标记类型与力量测量类别之间的关系。近期,方斌教授团队发表的Advanced Intelligent Systems 综述论文,深入探讨了标记属性与力量测量精度的关系,提出了优化标记设计的潜在解决方案。讨论了基于视觉的触觉传感器力量测量技术,深入探讨了力量感应原理、标记类型、测量方法及应用场景等,为VTS的力量测量提供了全面而深入的技术细节。

2024-10-17 09:05:51 862

原创 Chemical Engineering Journal 面向空间舱外智能操作的受皮肤启发的多模态触觉传感器

结合BMLTS和深度学习的仿生智能感知系统(BIPS)可以实现基于摩擦电的对Al、POM、玻璃、纸张、纤维等5种材料的实时感知,实现对数字、字母、汉字书写和记录的智能识别。但是对于宇航员来说,但对于在太空或月球上的宇航员来说,他们佩戴的太空手套通常是由非常厚的多层结构组成来提高密封性,以确保宇航员的安全,但却阻碍了有效的触觉反馈,特别是指尖的触觉反馈,导致手的灵巧操作受到限制,严重阻碍了宇航员在舱外活动的灵活性。整个过程分为接触前(①)、开始接触(②)、接触后(③)、开始分离(④)、接触后(⑤)五个步骤。

2024-10-16 10:12:44 775

原创 Nature Communications 英国伦敦大学等提出仿生自适应多平面触觉系统,实现机械与振动双重感知结合

该子系统不仅提供稳定且可调的机械触觉与振动触觉脉冲刺激,以满足不同场景下的应用需求,而且其振动频率最高可达280Hz,这一频段恰好覆盖了与人类触觉感知紧密相关的四大机械感受器的敏感范围。研究结果显示,本研究创新性地提出的BAMH系统,不仅在精准激活手指各区域触觉机械感受器方面展现出显著优势,还有望凭借其广泛的覆盖范围、高度的模块化设计以及便携性特征,成为神经科学、心理学、社会学等多个学科领域探索人类触觉机制的重要工具。此外,随着管道长度的增加,力范围相应减小,但系统仍然能够保持较高的刺激强度。

2024-10-15 13:59:45 835

原创 Science Robotics 通过新材料打造FiBa软机器人 可实现四种形态进化

近几年由于材料科学的进步,软机器人相关技术近几年研究成果显著,与传统的刚性机器人相比,软机器人的设计灵感来源于自然界中的生物系统,如蠕虫、章鱼、壁虎和青蛙等。通过轻质材料的选择和模块化设计的应用,FiBa执行器拥有了轻量化和多功能特性,这一设计不仅解决了传统软机器人的重量问题,还在实际场景中拥有极高的泛化性。为了验证FiBa执行器的性能和多功能性,研究团队成功展示了四种不受束缚的仿生运动模式,分别为受海龟启发的爬行、受尺蠖启发的攀爬、受蝙蝠启发的栖息和受瓢虫启发的飞行。

2024-10-14 15:01:48 1057

原创 CoRL 2024 机器人抓取学习 GraspSplats:使用 3D 特征展开进行高效操作

机器人对物体部分进行高效且零样本抓取的能力对于实际应用至关重要,并且随着视觉语言模型(VLMs)的最新进展而变得越来越普遍。为了弥补支持这种能力的表示中的二维到三维差距,现有方法依赖于通过可微渲染或基于点的投影方法的神经场(NeRFs)。然而,我们证明NeRFs由于其隐式性而不适用于场景变化,而基于点的方法在没有基于渲染的优化的情况下,对于部件定位不准确。为了解决这些问题,我们提出了GraspSplats。通过使用深度监督和一种新颖的参考特征计算方法,GraspSplats在不到60秒的时间内生成高质量的场

2024-10-13 14:17:11 578

原创 一种用于机械手自适应抓取控制的紧凑型指尖形视触觉传感器

在完成预抓取后,稳定性调整控制器接管抓取过程,实时监控物体的运动状态,尤其是物体可能的滑动情况。对于较重或刚性物体,预抓取阶段的接触强度可能不足以支撑整个抓取过程,因此需要根据标记位移的变化,动态调整抓取力度,防止物体滑落。为此,本文提出了一种紧凑型指尖形状的视觉-触觉传感器(FVTS),旨在通过高精度的触觉反馈,帮助机器人灵活调整抓取力度,实现对不同物体的自适应抓取。该策略包括预抓取控制器和稳定性调整控制器,分别应对物体的初始接触和稳定抓取阶段,确保机械手在处理各种物体时能够提供非侵入性、稳定的抓取。

2024-10-11 09:27:44 890

原创 Science Robotics封面论文:假肢手的交互控制新思路,磁性植入让截肢者重获灵巧抓握功能

随着技术的不断完善,我们有理由期待在不久的将来,这种基于磁体植入的假肢控制系统能够为更多患者带来福音,帮助他们重获失去的功能,提高生活质量。其次,磁体的尺寸比现有的植入式肌电传感器更小,可以植入更多肌肉部位,理论上能实现更多自由度的控制。再者,磁体位移提供了肌肉长度和速度的直接测量,有望更准确地关联肌肉激活与肌力,从而实现更精细的控制。与传统依赖神经和肌肉电信号的方法不同,该技术利用肌肉收缩引起的物理位移来解读用户意图,为开发更加直观、精准的人机接口提供了新的可能性。此外,长期临床试验也是必不可少的。

2024-10-10 08:51:05 713

原创 Science Advances 具有高灵敏度远程感知功能的多感受器皮肤

图6:展示了多感受器皮肤在远程感知和触觉感知中的应用。读后感这篇论文提出了一种基于多感受器皮肤的新型远程感知和触觉感知系统,结合了纳米材料的结构性掺杂和深度学习算法,突破了传统传感器在感知距离、灵敏度和功能上的限制。图5F通过对比不同通道的输入,展示了识别精度随着通道数量的增加而提升,图5G则展示了四通道输入下的混淆矩阵,表明系统最终实现了99.56%的分类准确率。图1A介绍了人类大脑功能区域的分布,图1B展示了鸭嘴兽通过双重感受器(机械感受器和电感受器)感知环境的原理,作为系统设计的仿生灵感。

2024-10-09 10:23:39 772

原创 剑桥&ETH研究综述:NeRF在机器人技术中的应用

精准的三维环境表示一直是计算机视觉和机器人领域的一个长期目标。最近出现的神经隐式表示为该领域带来了革命性的创新,因为隐式表示能够实现多种功能。其中,神经辐射场(NeRF)由于其巨大的表征优势,如简化的数学模型、紧凑的环境存储和连续的场景表示,引发了一种趋势。除了计算机视觉,NeRF在机器人领域也显示出巨大的潜力。因此,本综述是为了全面了解机器人领域的NeRF。通过探索NeRF的优势和局限性,以及它目前的应用和未来的潜力,我们希望能阐明这一有前景的研究领域。从NeRF如何进入机器人领域的角度来看,我们的调查分

2024-10-08 11:25:38 690

原创 Nat. Commun.:飞秒激光书写受蚂蚁启发的可重构微型机器人集体

i 如果蚂蚁微型机器人的轴线与磁方向之间存在角度,则会在蚂蚁微型机器人上产生磁扭矩,从而引起蚂蚁微型机器人的旋转运动,以沿着磁场的方向排列。随着微纳制造技术和材料科学的快速发展,基于刺激响应材料的微型机器人得到了发展,它们表现出优异的响应变形特性、高度的环境适应性和强大的功能性。然而,从微型机器人的数量来看,当前的研究通常集中在单个可变形的微型机器人上。尽管可以可控地实现单个微型机器人的可逆、动态和快速的变形或运动,但是多个可变形微型机器人之间稳定、可逆的连接以形成集体以及它们的运动和应用尚未得到验证。

2024-10-07 19:47:17 1257

原创 TPAMI 2024 多模态学习最新综述:普林斯顿大学、武汉大学等从数据视角解读多模态学习

在介绍了涉及其他模态的视觉和数据的各种判别性和生成性多模态应用之后,作者从技术设计和与数据属性的联系的角度重新审视和总结了现有的工作。此外,文中从表示学习和下游应用层面研究了多模态学习的现有文献,并根据它们与数据性质的技术联系进行了额外的比较,例如图像对象和文本描述之间的语义一致性以及节奏视频舞蹈动作和音乐节拍之间的对应关系。表2给出了生成任务中的评价指标。基于 GAN 的模型 与 VAE 类似,基于 GAN 的模型的训练不需要外部注释,只需要真实的原始数据,因此经常用于无监督或弱监督的环境中。

2024-10-06 19:38:48 1608 2

原创 CoRL 2024 麻省理工学院提出T3触觉Transformer,打破触觉感知的壁垒,重塑未来机器人

通过在FoTa数据集上进行预训练,T3具备了强大的泛化能力,我们可以通过少量领域的特定数据对其进行进一步的微调,并且其性能可随网络规模的增大而提高,如此便能够应对各种不同的感知需求。为了探究T3的优劣,我们训练和评估了3个策略:一个没有触觉输入的基础策略,一个由从头开始训练的神经网络编码的触觉输入策略,以及一个由T3编码的触觉输出策略。预训练的T3在许多任务上展现了显著的性能提升,特别是在复杂的长时间接触操作任务中,例如多引脚电子元件的插入任务,T3相较于传统方法提高了25%的任务成功率。

2024-10-04 20:43:40 1114

原创 斯坦福团队用模仿学习赋予机器人新技能:系鞋带

研究人员给嵌入加了个位置嵌入,然后喂了一个8500万的Transformer编码器,之后用双向注意力进行解码,就得到了观察结果的潜在嵌入。目前研究团队已经开源了Aloha 2的所有硬件设计,并提供详细的教程和模拟模型,以便于研究人员和开发者进行大规模的双手操作研究。训练时,研究人员基于JAX框架,在64个TPUv5e上并行训练,批量大小256,总共进行了200万步的训练。除了系鞋带,视频中的Aloha 2机器人还会挂衣服、拧齿轮、收拾厨房,甚至是给“同事”换不同用途的配件。

2024-10-03 13:45:14 490

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除