![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
具身智能
文章平均质量分 73
xwz小王子
机器人在读博士,研究方向具身智能、强化学习、多模态视听触感知与交互
展开
-
CVPR 2024 以物体为中心的多感知具身大语言模型
建立了Multisensory Universe,这是一个大规模的多感官交互数据集,包含50万个数据点,由具身代理在3D环境中主动探索和交互收集而成。提出MultiPLY是一个多感知的具身大型语言模型(LLM),能够将视觉、听觉、触觉和温度等多感官信息整合到大型语言模型中。MultiPLY模型能够将多感官交互数据整合到大型语言模型中,展示了在多模态任务中的潜力。CVPR 2024发表了关于多感知以对象为中心的具身大型语言模型(MultiPLY)的研究论文,该模型在3D环境中进行编码和交互。原创 2024-06-21 09:36:20 · 328 阅读 · 0 评论 -
触觉感知和逻辑推理策略有助于机器人识别和分类物体的能力
这些机器人通过传感器获得的触觉信息后,利用机器学习算法对这些触觉信息进行处理,以此机器人能够识别以前处理过的物体。研究人员表示:“我们建议在手抓握过程中利用时空触觉感应来扩展机器人的功能以及同时感知所抓物体的多种属性的能力,包括热导率、热扩散率、表面粗糙度、接触压力和温度。然而,物体的尺寸和形状相似时,或者机器人没有见过某类物体时,感知往往会出现混乱。研究人员表示:“此外,通过将这种传感器与脑机接口技术结合,传感器收集到的触觉信息可以转化为人脑可接受的神经信号,重新增强手部残疾人士的触觉感知能力。原创 2024-06-20 10:52:57 · 305 阅读 · 0 评论 -
具身智能的视觉-语言-动作模型综合综述论文
讨论了VLA模型的分类,包括基于预训练的模型、基于Transformer的模型和基于大型语言模型(LLM)的模型。深入探讨了VLA模型面临的挑战,包括机器人数据的稀缺性、运动规划、实时响应性、多模态整合、对未见情景的泛化、长期任务执行、基础模型的探索、基准测试和安全性考虑。强调了多模态模型的出现,这些模型结合了单模态模型的进展,以处理如视觉问答、图像描述和语音识别等任务。概述了当前的挑战和未来的机遇,如解决数据稀缺问题、提高机器人的灵活性、实现跨不同任务、环境和体现的泛化,以及提高机器人安全性。原创 2024-06-18 10:45:27 · 318 阅读 · 0 评论 -
Nature 苏浩团队发表创新人工智能“仿真中学习”框架,实现外骨骼的智能性和通用性
我们的控制器能够端到端地生成合适的助力,现有方法大多都需要很多额外的中间步骤,而这会引入繁琐的人工调节参数的过程,并且也会对控制器的泛化能力产生影响”,苏浩教授表示。“我们工作的一大亮点是控制器产生的助力在不同人身上是不一样的,它会自主调节,而不是给一个固定形状的助力。为了探索这个技术的可行性,罗淑贞博士(曾是苏浩教授博士后,现任美国安柏瑞德航空大学的助理教授,本文第一作者)进行了长达4年的研究,她介绍说:“我们首先通过创建高保真的肌肉骨骼模型,并设计三个深度神经网络的闭环仿真训练方法。原创 2024-06-17 12:43:13 · 452 阅读 · 0 评论 -
CVPR 2024 可泛化的基于视觉的人机交接(Handover)策略学习
这种方法可以同时保证视觉-动作相关性和动作连续性。而在仿真环境中(Simulation)进行训练,用人物仿真和动态抓取运动规划来自动化提供海量多样的机器人学习数据[7,8,9,10,11],然后将其部署到真实机器人上(Sim-to-Real Transfer),是一种更可靠的基于学习的方法,可以大大拓展机器人与人协作交互的能力。未来的探索方向是更复杂的交接场景(更逼真的人的行为仿真、更复杂的场景设置)、更有效的基于视觉-动作协同的专家示例生成过程以及更多的机器人真机部署上(不仅仅局限于7DoF的机械臂)。原创 2024-06-15 19:09:39 · 888 阅读 · 0 评论 -
ICRA 2024:基于视觉触觉传感器的物体表⾯分类的Sim2Real双层适应⽅法
虽然本⽂的⽅法在减少 Sim2Real 的域差异和提⾼物体表⾯分类与 6D 物体姿态估计的准确性⽅⾯表现出了显著优势,作者认为仍然存在 2 个⽅⾯的不⾜DIGIT传感器的弹性体需要适度的⼒才能突出表⾯差异。本⽂的⽅法主要包括两个层次的适应,以减⼩模拟和真实数据之间的差距,并提⾼分类性能。通过输⼊触觉图像和机器⼈本体感知的传感器姿态来估计物体的 6D 姿态,并且替换了⽂中的假设提取部分,⽤本⽂提出的表⾯分类器来⽣成假设,之后在每个对象上使⽤了 3 个传感器进⾏实验,并结合了从分类实验中收集的多种传感器姿态。原创 2024-06-13 12:29:11 · 800 阅读 · 0 评论 -
Science 发现嗅觉刺激影响触觉信息处理
通过运用逆行标记效率的副腺病毒载体(AAV-retro)注射到不同年龄的小鼠S1,结果发现这种在短暂发育窗口内的功能性相互作用是由嗅觉皮层的神经元投射到S1, 而且这些神经元会在发育过程中发生细胞死亡。更重要的是,通过对出生一天的小鼠进行嗅觉剥夺,这些小鼠长大之后不仅他们S1的神经动力变小,而且有触觉纹理辨认的缺陷。更有意思的是,嗅觉对其他所有感觉系统的发育可能是有引导作用的。这些不同的实验结果可能取决于不同的因素,但是有一个容易被忽略的因素是不同的感觉系统是在不同的时间和速度下发育成熟的。原创 2024-06-12 13:08:03 · 314 阅读 · 0 评论 -
视触觉关键点对应关系在物体操纵中的应用
该方法提高了部署效率,解决了在对象位置没有预定义的环境中执行操作任务的难点问题,并通过实验验证了所提出的策略的有效性,证明了关键点对应的提取及其在现实任务中的应用,如块对齐和齿轮插入,这需要毫米级的精度。将机器人的末端执行器定位在姿势上,并在x轴和z轴上的+/- 5mm范围内随机移动,以获得测试触觉图像,最终评估从这些图像中提取的关键点与由操作符识别的关键点之间的偏差,偏差由平均和位移大小衡量。已执行关键点匹配,将目标图像中的对象的左角与所捕获的触觉传感器数据中的对象的左角相关联。图4齿轮插入任务的物体。原创 2024-06-06 08:32:42 · 866 阅读 · 0 评论 -
Sensors and Actuators A: Physical 改进成像调节系统的视触觉传感器
与复杂环境成像不同,触觉成像的背景固定,成像形式稳定。由于纹理精细度的不同,图像的模糊状态不同,这在一定程度上反映了聚焦方法对图像清晰度的敏感程度。针对低频以及高频的成像调整,提出了基于三点拟合的聚焦深度(TPF-DFF)和基于深度学习的离焦深度(DL-DFD)。本文提出了一种改进的基于视觉的薄触觉传感器(VTTS), 又称基于视觉的触觉皮肤,其集成了可调焦相机和成像调节系统(IAS),以提高成像鲁棒性。由于视触觉传感是在相对稳定和封闭的成像环境中进行的,因此基于图像的聚焦方法与触觉成像是天然匹配的。原创 2024-06-03 08:34:35 · 755 阅读 · 0 评论 -
Science Robotics 自然脊髓反射回路应用在假肢手的感觉运动控制
用于假肢控制的感觉反馈通常基于在特定类型的感觉刺激中编码感觉信息,用户通过解析来调整假体的控制。然而,在生理条件下,从周围神经接收到的传入反馈不仅被有意识地处理,而且还调节脊髓反射回路,这些回路有助于驱动肌肉的神经信息。该研究证明了使用具有自然反馈回路的自愿和非自愿动作来控制假肢的潜力。他们提出的改善假肢控制的感觉运动整合方法,基于通过肌腱在肌肉活动闭环中的振动来调节脊柱回路的兴奋性。在不同的运动任务中测量了健康参与者和截肢者的肌肉信号,并通过对连接到肌肉的肌腱施加振动来闭环,从而调节运动神经元的兴奋性。原创 2024-06-01 10:01:22 · 167 阅读 · 0 评论 -
具身触觉前沿纵览 | ICRA 2024 ViTac Workshop
为了获取视触觉传感器在抓取过程中的力矩信息,来自欧姆龙的研究人员在偶极子思想的启发下提出了触觉场偶极子的概念,通过对marker位移场的分析在不依赖于任何深度学习算法、光学模型的情况下对扭矩进行了估计,深入挖掘了视触觉传感器对物理量的感知能力。快速准确的接触力标定对于视触觉传感器具有重要意义,来自国王学院的研究人员为了克服传统基于大量力标注数据的深度学习方法所存在的数据收集困难,提出了可将已标定传感器的预测能力迁移到未标定传感器上的方法,实现了较高的力精度,大幅降低了数据收集开销。原创 2024-05-30 09:18:26 · 859 阅读 · 2 评论 -
斯坦福大学李飞飞教授分享:只有计算机和机器人具备空间智能,人工智能的潜力才能得到充分发挥
这是5.4亿年前的世界,纯粹的、无边无际的黑暗。尽管阳光能透射到1000米深的海底,热液口也在海底散发出一丝光亮,那里满是生命的气息,但在那古老的海水中,找不到一只眼睛的存在,没有视网膜、角膜、晶体。"安德烈说:"哈哈,那是不可能的。但只要我们做好了这一切,受空间智能驱动的计算机和机器人不仅将成为实用工具,更将成为值得信赖的伙伴以增强和提高我们的生产力和人性,同时尊重个人尊严,推动我们的集体繁荣。如果我们想推进人工智能超越目前的能力,我们需要的不只是能看和讲话的人工智能,我们需要的是能够行动的人工智能。原创 2024-05-28 01:26:51 · 481 阅读 · 0 评论 -
ICML 2024 多视角融合驱动的通用具身操作算法SAM-E,为机器人学习复杂操作给出了可行解决方案
SAM-E提出了使用具有强大泛化能力的通用视觉大模型 SAM 进行视觉感知,通过在具身场景的高效微调,将其具有的可泛化,可提示(promptable)的特征提取能力、实例分割能力、复杂场景理解等能力有效迁移到具身场景中。为了进一步优化SAM基座模型的性能,引入了动作序列网络的概念,不仅能够捕捉单个动作的预测,还能够深入理解连续动作之间的内在联系,充分挖掘动作间的时序信息,从而进一步提高基座模型对具身场景的理解与适应能力。赋予智能体以身体,使其具备与真实世界直接互动的能力,成为了当前研究的重点方向之一。原创 2024-05-27 09:42:03 · 866 阅读 · 0 评论 -
Science 基于尖峰时序编码的模拟神经触觉系统,可实现动态对象分类
由于与抓取 22 个物体相关的第一尖峰模式是不同的,因此关于抓取它们的动态信息在第一尖峰模式中得到了很好的编码。然而,帧编码的功耗效率低下,因此对实际应用中需要大量传感器的电子皮肤提出了巨大的挑战。将电子皮肤(e-skins)推进到模仿自然触觉的水平,是恢复截肢者和瘫痪患者丧失的功能的可行解决方案,并实现机器人与人类的安全物理交互以及物体操作的灵巧性。人们普遍认为初级感觉神经元使用尖峰速率来传递信息,最近的研究表明,触觉传入神经集合中第一个尖峰的时间在编码高度动态的触觉信息中起着至关重要的作用。原创 2024-05-26 10:44:37 · 413 阅读 · 0 评论 -
基于大脑的皮肤触摸通信和控制接口
研究中,招募了12名受试者,在实验过程中,受试者被要求执行触摸手势任务,利用BrainAmp放大器记录信号,并分析了触摸和运动相关脑信号的事件相关电位(ERP)分类差异,进一步进行了功率谱密度(PSD)分析,分析了触摸位置各通道的频谱功率差异。近日,来自韩国高丽大学的团队设计了一个新的实验,收集了12名受试者在不同的触摸手势和身体姿势时产生的的脑电图(EEG)信号,并使用机器学习和深度学习评估了分类性能,以解码受试者的皮肤触摸意图,从而验证了开发皮肤接口技术的可行性。原创 2024-05-15 09:29:30 · 236 阅读 · 0 评论 -
具身触觉社区| “大咖面对面”第一期活动顺利举行
GelSight指尖传感器专门针对机器人手指尖的触觉而设计,在多方面性能可以媲美甚至超越人类手指,是全球第一款具有超高分辨率的视触觉传感器(每平方厘米可高达几万到几百万个触觉信息点(10微米级别),而其他传统触觉传感器仅有几个到几十个信息点),可同时感知法向力和切向力,且具有柔性与低成本等巨大优势,被全球各大顶尖高校和科研机构的研究人员广泛采用和深入研究,如MIT、Stanford、CMU、UC Berkeley、UIUC、牛津、剑桥、清华、北大、上交、浙大等等。下面将简要回顾本次分享的主要内容。原创 2024-05-11 09:37:42 · 450 阅读 · 0 评论 -
具身触觉社区 | “大咖面对面”第二期活动顺利举办
在讲座中,原老师详细地讲解了视触觉传感器的基本原理与发展现状,同时介绍了高密度触觉传感器在机器人领域特别是对于真实物理世界理解方面的应用,全景地展示了触觉传感器的发展前景。相比而言,基于视触觉的触觉传感器具有较高的空间分辨率,可以实现对物体表面纹理的感知与稠密力分布的估计,同时还可对目标的动力学特性进行可靠的追踪。那么,第一个典型的应用就是将视触觉传感器应用于衣服的分类上。在讲座的最后,线上的小伙伴们与原老师展开了非常热烈的交流,从视触觉传感器的性能改进到具身智能大模型的应用方面进行了深入的探讨。原创 2024-05-10 09:30:21 · 322 阅读 · 0 评论 -
斯坦福大学ALOHA家务机器人团队发布了最新研究成果:语言交互式操作
这三种任务的特点是都需要两只手分别完成不同的动作,其中一只手要稳定地拿住容器并根据需要调整姿态,另一只手则需要准确定位目标位置并完成指令,而且过程中还涉及海绵这种软性物体,拿捏的力度也是一门学问。而且不只是能纠正错误,任务的细节也能通过喊话实时调整,比如在装糖的任务中,开发者觉得机器人拿的糖有点多了,只要喊出“少一点”,机器人就会将一部分糖果倒回盒子。且在这个过程中命令会被系统记录并用于微调高级策略——通过学习人类提供的纠正性反馈,逐渐减少对即时口头纠正的依赖,从而提高长期任务的自主成功率。原创 2024-05-09 17:47:34 · 303 阅读 · 0 评论 -
具身智能狂潮背后:泡沫还是技术革命的前奏?
第二,基于Sora的环境重建和技能学习,可以快速让机器人获取新的技能,元操作的学习样本更加丰富,配合上UMI、ALOHA等系统获取的少量人类操作样本,可以把技能学习的成本和时间降低到工业界能接受的程度。长久以来,机器人领域的感知和控制技术一直在慢慢发展着,我们看过去的机器人,尤其是从业内人士的视角看来,机器人最大的弱点是“傻”,这种傻的主要来源是对上层任务规划非常机械,几乎由简单的逻辑判断或者状态机来实现,所有的智能都是机械的,这也是业内人士普遍说,离落地还有很大距离的原因。原创 2024-04-29 08:41:54 · 413 阅读 · 0 评论 -
中国人工智能奠基人张钹院士:走进“无人区” 探索人工智能之路
在2小时的直播中,张钹以《走进“无人区” 探索人工智能之路》为主题,回顾人工智能的发展历程,为大家解读ChatGPT的意义,以及当下发展第三代人工智能需要解决的关键问题。张钹表示,实现通用人工智能任重道远,提醒大家要在人工智能热中保持清醒进行冷思考,中国要大力加强基础理论研究,聚天下英才而用之,坚持不懈地努力。1978年,在第一代人工智能低潮,第二代人工智能萌芽之时,张钹带领清华大学研究团队进入人工智能领域,经历了漫长的人工智能研究的寒冬。在当下人工智能的热话题下,需要对人工智能进行更加冷静与恰当的思考。原创 2024-04-27 21:13:52 · 321 阅读 · 0 评论 -
麻省理工学院最新视触觉传感研究:被动可弯曲自适应触觉手掌配备模块化内嵌光学(ROMEO)手指
材料方面采用柔性材料,结构上加入悬臂梁,并将其末端都集中在手掌的一个区域,只要将一个物体压入手掌,就可以实现手掌的被动弯曲,以此简轻机器人手的重量并保持手掌的形状合适。在此之外,由于LED和有机硅之间产生的空气界面而导致的不可预测的光热点和凝胶弹性体表面缺乏混合光梯度的问题,采用了易于使用和封装在硅胶中的商业柔性1.7 mm直径LED灯丝(Adacarp),通过测试和比较,最终选用蓝色LED,将其集成到ROMEO手指和新型手掌中,并使用半透明的有机硅涂料。下图为硅酮浇注前将铝漆混合液空刷到模具上的步骤。原创 2024-04-22 08:39:04 · 828 阅读 · 0 评论 -
Science Robotics 美国斯坦福大学研制了外行星洞穴探测机器人
此外,有遮蔽的洞穴环境可以为未来的人类居住提供场所。在凸起的岩石表面上,配备棘的通用三指夹持器的运动学模型,用于计算用于抓取计划的概率力极限曲面;美国斯坦福大学设计了ReachBot ,它通过抓取具有多个附肢的岩石特征来移动,即使在锚点稀疏的情况下也能穿越需要攀爬的环境。可伸缩吊杆是为天线结构等空间应用开发的,因为它们在卷起时轻巧紧凑,但在展开时很坚固,尤其是在张力下,并且能够将机器人身体的跨度延长许多倍。现有的攀爬机器人的工作空间相对较小,因此它们的感知系统可以构建详细的表面扫描,以实现抓取位置预测。原创 2024-04-20 08:26:07 · 315 阅读 · 0 评论 -
Nature 哈佛新型超材料Metafluid粘度、透明度、弹性可变,可用于编程液压机器人
如上图c绿线,实验显示所有胶囊在临界压力附近同时发生屈曲,但与单个胶囊相比,压力突降被多个小的突降所取代,形成了压力平台。微米级胶囊悬浮液的压力-体积曲线显示出与厘米级胶囊相似的非线性行为,但由于制造过程中的几何缺陷,微尺度胶囊的Metafluid没有那么明显的平台现象。实验中,他们测量了通过微米级胶囊悬浮液传输的光功率,并发现在胶囊屈曲时,透射率显著增加。结果表明,当胶囊处于球形状态时,Metafluid表现出牛顿流体的特性,而当胶囊屈曲时,Metafluid转变为非牛顿剪切稀化流体。原创 2024-04-18 09:37:35 · 833 阅读 · 0 评论 -
Science Robotics 香港城市大学开发了具有协同混合运动的敏捷单足跳跃四轴飞行器
实验结果表明,该机器人准确地跟踪了参考轨迹,验证了三维(3D)跳跃模型,并说明了跳跃飞机的平均垂直跳跃速度接近理论弹道极限,超过了最先进的跳跃机器人,包括Salto-1P。此外,耐久性的提高可能会延长机器人的行进距离,扩大其操作范围,正如其他能够地面运动的机器人飞行器所证明的那样。该机器人在1.63 m的跳跃高度上达到2.38 m/s的最大速度,超过了现有跳跃机器人中报道的最高敏捷性。Hopcopter在实验中展示了从0.6米到1.6米的跳跃,展示了其强劲的跳跃高度范围。原创 2024-04-15 09:26:13 · 441 阅读 · 0 评论 -
UC伯克利的双足机器人,400米直接跑进了2分34秒,站立、跑步、跳高、跳远动作都丝滑
对于剩下的11名身体健全的参与者,我们获得M1分类器的校准准确率为77.9±7.8%(“movlook”和“rest”),M2的校准准确率为62.5±6.5%6.5%(“movlook”vs“only look”)。身体健全的参与者坐在一张普通的椅子上,右臂安全地绑在扶手上,右手放在一个小球上,以获得额外的舒适感(图1a)。在本文中,我们提出了一个快速在线研究的结果,整合了自然运动控制的三个方面,即目标导向的运动意图、运动轨迹解码和错误处理,在一个独特的混合框架中,以实现使用脑电图信号对光标的闭环控制。原创 2024-04-10 08:44:52 · 943 阅读 · 0 评论 -
Science 体耦合交互光纤用于电子纺织品集成
此外,作者还探索了无线纤维电子技术在智能家居中的应用,如无线触觉地毯,它能在人踩上时通过电磁场能量耦合激活纤维,实现触摸区域的可视化和无线传感信号的传输。此外,i-纤维还展现了良好的光学和电学性能,具有长期的工作稳定性及抗潮、抗汗和耐磨特性,证明了其在实际应用中的可行性和可靠性。i-fiber 通过无线技术接收和发射信号,包括传感和显示功能,同时利用人体作为电磁场的一部分,实现了触觉传感的无线传输和光信号产生,提供了一个全新的电子纺织品集成方案。图3 无线光信号和电信号的调制和传输。原创 2024-04-07 08:34:36 · 945 阅读 · 0 评论 -
北京大学创新推出ManipLLM黑科技 | 大幅提升机器人操作的鲁棒性与智能性
尽管模型在模拟器中表现良好,但在实际环境中,机器人通常会遇到更多独特的情况,即环境或难以配置的设备,这可能与模拟器模拟的情况显著不同,导致模拟到实际(sim-to-real)差距。因此,为了促进位姿预测,在任务Mask语言模型(MLM)中,将输入文本提示中的坐标或方向向量的值进行屏蔽,并促进模型填充缺失的字符,如图2中第三条提示所示。对于柱面部分,即抽屉,在可移动部分的所有点上操作都可以促进运动,因此,抽屉的可动部分的概率图在力场图上都是1。对于旋转部分,力场图反映了操纵可能性的区域,即远离轴的区域。原创 2024-04-04 19:02:23 · 1192 阅读 · 1 评论 -
Science Robotics 逼真面部表情的机器人
虽然大多数电子动画机器人的面部通常只表现出简单的下颌运动,但我们的目标是通过机械结构复制人类嘴唇的复杂运动。为了解决这一挑战,设计了几种被动接头和连杆,以便在机器人嘴移动时,柔软的皮肤可以在机械结构的被动自由度上弯曲,形成复杂而自然的变形。这种设计的优点是它在眼框的中心创造了更多的空间,能够将相机模块安装在与人类瞳孔相对应的自然位置。这种设计促进了机器人和人类之间更自然的面对面互动。研究发现,机器人可以在人类微笑前约839毫秒学习预测即将到来的微笑,并使用学习的逆运动学面部自我模型,与人类同时表达微笑。原创 2024-03-29 08:30:18 · 588 阅读 · 0 评论 -
UMass、MIT等提出3D世界具身基础模型,机器人根据生成的世界模型无缝连接3D感知、推理和行动
3D-VLA是一个多功能的、基于3D的生成式世界模型,可以在3D世界中执行推理和定位、想象多模态目标内容,并为机器人操作生成动作,研究人员主要从三个方面对3D-VLA进行了评估:3D推理和定位、多模态目标生成和具身行动规划。此外,模型的泛化能力在捡杯(pick-up-cup)任务中得到了证明,3D-VLA在CALVIN中也取得了较好的结果,研究人员将这种优势归因于定位感兴趣的对象和想象目标状态的能力,为推断动作提供了丰富的信息。在初步实验中,研究人员还发现提供真实的最终状态可以增强模型的推理和规划能力。原创 2024-03-27 08:40:25 · 800 阅读 · 0 评论 -
Soft Robotics:两栖环境下螃蟹仿生机器人的行走控制
传统水陆两栖机器人依靠轮胎或履带与表面的接触及摩擦产生推进力,这种对于表面接触的依赖性限制了现有水陆两栖机器人在低重力环境下(如水中)的机动性。在广泛的生物载体中,螃蟹由于具有独特的步态,除此以外,螃蟹在水中使用鳃进行气体交换,使其可以在水下长期停留而不需浮到水面上,这些特性使其成为构建仿生水陆两栖机器人的良好载体。由此构建的螃蟹混合机器人实现了从陆地到水中的平稳过渡,并证明了其对两栖环境的适应性。图3 在陆地环境中,螃蟹的自然步态与电刺激下的步态。图4 在水下环境中,螃蟹的自然步态与电刺激下的步态。原创 2024-03-26 08:38:01 · 787 阅读 · 0 评论 -
IJRR顶刊发布!浙大王越、熊蓉教授团队新型控制器实现人机交互新突破
通过借鉴流体的本构原理并结合机器人控制的实际需求,成功研发了剪切增稠流体控制器(Shear-Thickening Fluid Controller, SFC),并在初步实验中证实了该控制器能够成功实现预期功能,有效兼顾顺应牵引与冲击抵抗,从而提升了物理人机交互的安全性。然而,在顺应牵引力和抵抗冲击的情况下,线性模型难以区分不同强度和频率的力,这意味着在遭受到高强度冲击时,机器人可能会因为无法有效抑制冲击而产生急剧运动,这无疑会对近身的人机交互安全性造成风险,并可能降低任务执行的准确性。原创 2024-03-23 15:42:44 · 783 阅读 · 0 评论 -
大模型赋能机器狗,西工大离线具身智能研究取得新突破!
目前通过实验,团队开发的离线具身智能导盲犬已能够与视障人士流畅沟通指令,并带领其通过马路、楼梯、电梯等多样复杂环境,验证了离线具身智能导盲犬的智能人机交互能力、电梯弱网络环境下的智能乘梯引导能力、实时性要求较高的智能过街引导能力和智能室内引导能力等。西工大团队在此方面开展研究攻关,并取得了新的突破。该成果证明了离线具身智能导盲犬代替传统导盲犬的可能性,同时验证了离线具身智能范式的可行性,使大模型具身智能机器人可以脱离互联网,应用在无网或网络信号不佳的工况环境,提供更加实时的智能响应以及更好的人机交互体验。原创 2024-03-22 09:05:32 · 343 阅读 · 0 评论 -
谷歌具身智能最新进展:RT-H 机器人通用灵巧抓取
接着,利用这些观察、任务以及推断出的语言动作,RT-H 为每一步骤预测相应的行动,语言动作在此过程中提供额外的上下文,帮助更准确地预测具体行动(图 1 紫色区域)。他们还发现,对语言动作进行修正能够在同样的任务上达到接近完美的成功率,展示了学习到的语言动作的灵活性和情境适应性。举例来说,给定一项任务,如「盖上开心果罐的盖子」和场景图像,RT-H 会利用视觉语言模型(VLM)预测语言动作(motion),如「向前移动手臂」和「向右旋转手臂」,然后根据这些语言动作,预测机器人的行动(action)。原创 2024-03-21 09:06:41 · 715 阅读 · 0 评论 -
斯坦福大学李飞飞教授领衔发布BEHAVIOR-1K:以人为本的具身智能基准测试,包含 1,000 项日常活动和逼真的模拟
BEHAVIOR 的更广泛目标是推动通用、有效的 EAI 的发展,为人们的日常生活带来重大好处——以人为本的人工智能,满足人类的需求、目标和价值观。实验表明,BEHAVIOR-1K 中的活动是长序列的,并且依赖于复杂的操作技能,这两点对于最先进的机器人学习解决方案来说仍然是一个挑战。为了校准 BEHAVIOR-1K 的模拟与现实之间的差距,研究团队进行了一项初步研究,将在模拟环境中使用移动机械手学习到的解决方案转移到现实世界中。8 种场景类型,50 个完全互动的场景。居民住宅场景,15个完全互动的场景。原创 2024-03-20 08:57:27 · 424 阅读 · 0 评论