强化学习及自动驾驶
文章平均质量分 66
未来生活和科技的最强载体,王者荣耀,至尊统治
xwz小王子
机器人在读博士,研究方向具身智能、强化学习、多模态视听触感知与交互
展开
-
人形机器人位置控制新方案!法国洛林大学诞生多触点全身力控制控制器
SEIKO重定目标部分从操作员的笛卡尔命令中计算出全身期望配置,而SEIKO控制器则利用关节柔性模型,从力-力矩测量误差中计算关节位置修正,以实现接触力的控制并防止超过关节力矩限制。在远距离任务中,机器人能够在保持平衡的同时,伸展手臂以触及远处的目标。SEIKO控制器通过利用显式柔性模型和顺序QP优化方法,实现了对位置控制机器人接触力的间接控制,为多触点全身力控制提供了一种创新的解决方案。在针对全尺寸人形机器人Talos的实验中,通过应用该控制器的新方法,成功验证了其在多触点任务中的卓越有效性和鲁棒性能。原创 2024-06-07 09:36:57 · 846 阅读 · 0 评论 -
Science Robotics 封面论文:Google DeepMind 通过深度强化学习赋予双足机器人敏捷的足球技能
高质量的四足机器人已经广泛使用,但是,致力于控制人形机器人和两足动物的工作要少得多,这在稳定性、机器人安全性、自由度数量和合适硬件的可用性方面带来了额外的挑战。然而,它也学到了更少的敏捷行为。动物和人类不仅是自己身体的主人,能够流畅而轻松地执行和组合复杂的动作,而且还可以感知和理解他们的环境,并利用他们的身体来影响世界上的复杂结果。与可以直接访问球、球门和对手位置的基于状态的智能体相比,基于视觉的智能体需要从有限的高维以自我为中心的相机观察历史中推断信息,并随着时间的推移整合部分状态信息。原创 2024-04-12 09:13:49 · 554 阅读 · 0 评论 -
UC伯克利的双足机器人,400米直接跑进了2分34秒,站立、跑步、跳高、跳远动作都丝滑
对于剩下的11名身体健全的参与者,我们获得M1分类器的校准准确率为77.9±7.8%(“movlook”和“rest”),M2的校准准确率为62.5±6.5%6.5%(“movlook”vs“only look”)。身体健全的参与者坐在一张普通的椅子上,右臂安全地绑在扶手上,右手放在一个小球上,以获得额外的舒适感(图1a)。在本文中,我们提出了一个快速在线研究的结果,整合了自然运动控制的三个方面,即目标导向的运动意图、运动轨迹解码和错误处理,在一个独特的混合框架中,以实现使用脑电图信号对光标的闭环控制。原创 2024-04-10 08:44:52 · 943 阅读 · 0 评论 -
MIT最新研究成果 机器人能够从错误中纠偏 无需编程介入和重复演示
在实验中尽管工作人员在机器人执行任务的时候,手动拖拽并且打散勺子中的玻璃球,使其偏离轨道,但机器人依然不会停下来,回到原点重新执行任务,同时也不会在勺子上没有玻璃球之后,继续执行任务,而是能够自我纠正,在完成每个子任务后再继续下一个任务。研究团队的新算法将LLM针对特定子任务的自然语言标签与机器人在物理空间中的位置,以及编码机器人状态的图像连接起来,将机器人的物理坐标或机器人状态图像映射到自然语言标签,随后根据机器人的物理坐标或图像视图,自动识别机器人所处的语义子任务。机器人2D导航任务的图示。原创 2024-03-31 16:21:34 · 638 阅读 · 0 评论 -
多阶段力控操作的鲁棒规划
此外,规划器还能够选择对不确定性具有鲁棒性的策略,其中行动的成本与其在开环执行中的成功概率挂钩,给定基于力的约束参数的扰动。为了完成这些复杂的、多步骤的力控操作任务,机器人需要做出离散的决定,例如,是否用手指、手掌或工具推动瓶盖,以及是否通过与表面的摩擦接触、使用另一个抓手或虎钳来固定瓶子。我们的系统可以对完成这项强力操作任务的组合策略进行推理,包括使用其末端执行器的各个部分进行推捻,使用工具(蓝色)进行推捻,用虎钳固定(灰色),固定在桌子上,或固定在高摩擦橡胶垫上(红色)。原创 2024-03-06 09:29:13 · 361 阅读 · 0 评论 -
ICRA 2024:UC伯克利、斯坦福大学等共同开发机器人强化学习套件(SERL),20分钟学会装配电路板!
面对这一挑战,来自加州大学伯克利、斯坦福大学、华盛顿大学以及谷歌的学者们共同开发了名为高效机器人强化学习套件(SERL)的开源软件框架,致力于推动强化学习技术在实际机器人应用中的广泛使用。为了确保机器人可以在复杂的物理环境中安全精确地探索与操作,SERL 为 Franka 机械臂提供了特殊的阻抗控制器,在保证准确性的同时确保与外界物体接触后不产生过大的力矩。通过这些技术和方法的结合,SERL 大大缩短了训练时间,同时保持了高成功率和鲁棒性,使机器人能够在短时间内学习完成复杂任务,并在现实世界中有效应用。原创 2024-02-22 08:46:18 · 510 阅读 · 0 评论 -
突破性进展!加州大学伯克利分校提出Causal Transformer模型,实现人形机器人通过强化学习适应真实世界人形运动
在动态手臂摆动方面,通过部署控制器,机器人能够展现出与人类相似的动态手臂摆动行为,这种行为与腿部运动相协调,保持了对侧的特性。该控制器通过自回归的方式,根据过去的观察和动作历史来预测未来的动作。从在平坦区域自然行走,到下坡时采用小步行走,再到再次自然行走,这种步态的调整是自发的,并未在训练期间预设。此外,研究人员还命令机器人在包含三个部分的地形上前行:首先是平坦区域,然后是一个向下倾斜的斜坡,最后再次是平坦区域。这样的训练方法确保了模型在处理复杂环境时的强大适应性和鲁棒性,为未来的应用提供了坚实的基础。原创 2024-02-20 09:21:39 · 573 阅读 · 0 评论 -
人机交互新研究:MIT开发了结合脑电和眼电的新式眼镜,与机器狗交互
Ddog收集的原始数据是从五个摄像头汇总而来的。作者绘制了一个大的实验室空间,将其设置为一个「公寓」,其中包含「厨房」区域(有一个装有不同杯子和瓶子的托盘)、「客厅」区域(带枕头的小沙发和小咖啡桌), 和「窗口休息室」区域。集群中的每个容器都设计为单一用途(微服务架构),每个服务都是一个正在运行的AI模型,它们的任务包括:导航、映射、计算机视觉、操纵、定位和代理。对于患有ALS的受试者,本文的模型在MA任务中达到了73%的准确率,在WA任务中达到了74%的准确率,在ME任务中达到了60%的准确率。原创 2024-02-18 08:45:09 · 840 阅读 · 0 评论 -
OK-Robot机器人实现零样本算法 可在非结构化环境下完成拾取与放置任务
随后,导航和拾取基元将按顺序分步执行,移动到所需夹取的物品前进行拾取,之后在需要放置的位置,将物品放置。纽约大学的机器人专家团队与Meta人工智能学院研发人员共同合作开发了一种新型机器人,该机器人具备在非结构化环境下的认知能力,可在陌生房间利用视觉语言模型(VLMs),进行物品的抓取与放置。研究团队指出,OK-Robot所搭载的系统是零样本算法,这意味着OK-Robot没有在工作环境中接受过训练,因此所取得这样的成绩,证明搭载VLMs功能的机器人是可行的。原创 2024-02-14 08:47:53 · 848 阅读 · 0 评论 -
CMU和ETH联合研发了一个名为 「敏捷但安全」的新框架,为四足机器人在复杂环境中实现高速运动提供了解决方案
简单来说,这些图表展示了在特定条件下,通过恢复策略搜索得到的最佳运动指令,以及这些指令如何影响 RA 值,从而反映机器人在不同运动状态下的安全性。「达防」(Reach-Avoid, RA)值学习的创新之处在于,它采用了无模型的方式学习,与传统的基于模型的可达性分析方法不同,更适合无模型的强化学习策略。敏捷策略让机器人在障碍环境中快速移动,而一旦 Reach-Avoid Value Estimation 检测到潜在危险(比如突然出现的婴儿车),恢复策略就会介入,确保机器人安全。原创 2024-02-13 08:22:14 · 1388 阅读 · 0 评论 -
强化学习&机器人day11
马尔可夫相机、雷达、传感器。原创 2023-05-27 08:05:41 · 42 阅读 · 0 评论 -
全新「机械手」算法:辅助花式抓杯子,GTX 1650实现150fps推断
该方法在奖励函数的设置上不需要过多的 human design,因为原始动作已经提供了一个比较好的「如何抓」的引导,在训练强化学习模型时,除了给定成功抓取和抓取后的高度变化奖励,仅仅只需要一个奖励函数去鼓励机械手跟随原始动作即可。如上所示,为了解决「何时抓取」的问题,新方法还训练了一个基于强化学习的残差策略,它首先会输出一个「缩放动作」,根据手腕轨迹的历史,决定手指关节应该以多快的速度沿着原始动作的方向移动。新方法真正实现了灵巧的抓取,能在真实世界中对于不同的物体,不同的抓取姿态,不同的抓取轨迹进行泛化。原创 2023-12-21 10:21:32 · 890 阅读 · 0 评论 -
TPAMI: 基于强化学习的灵巧双手操作技能学习
先前的RL/MARL结果已经证明了我们的单个任务是可解的。总的来说,随着任务所对应的人的年龄增加,RL的难度也随之增加,这证明了我们的任务设计是合理的,与人类灵巧操作的发展相关。此外,在灵巧的手底部使用机械臂驱动器不仅符合现实世界的设置,而且也是虚实迁移必须要做的一步,因为漂浮在半空的手的动力学很难与现实世界相匹配,因此会扩大sim2real gap。最终,我们的实验表明,强化学习能够帮助机器人在这些具有挑战性的任务中取得一些显著的成果,而且在未来的工作中还有一些改进的空间和以及挑战更困难的任务。原创 2023-12-20 08:47:14 · 1111 阅读 · 0 评论 -
81%成功率!纽约大学研究人员推出训练家用多技能机器人的框架Dobb-E
部署方案:研究人员在真实家庭环境中进行了一系列实验,在这些实验中,他们将经过训练的算法部署在Hello-Robot机器人公司的多功能移动家庭机器人Stretch上。经过五分钟的演示和十五分钟的HPR模型调整,机器人在10个家庭被教导完成109种不同的家务活,取得了81%的成功率。能够适应和学习我们的需求并保持成本效益的家庭助理----“通才机器人” 在大规模商业化方面尚未取得突破。第二是改进机器人传感器和摇杆,迭代深度传感器,添加更多数据视图,并添加更多传感器模式,例如触摸和声音。原创 2023-12-19 22:36:23 · 468 阅读 · 0 评论 -
SIGGRAPH 2022 | 筷子该怎么用? ——基于贝叶斯优化和强化学习的灵巧手握筷及控制方法
我们的算法不需要动作捕捉数据,也有较高的动作质量和不错的鲁棒性。在图形学领域中,我们的工作是第一篇关于使用筷子的研究,其代表的是更广泛的难以解决的多接触操纵和控制问题。在运动规划过程中,我们训练了一个基于神经网络的抓取模型来估算抓取物体的最佳筷子配置,并根据物体的起始和目标位置,利用轨迹优化结合逆向运动学的方法生成无碰撞的筷子和手的运动轨迹。在我们的方法中,针对每一种可能的抓取方式,我们利用贝叶斯优化计算最优的抓取姿势,从而让一只移动的虚拟手可以在物理模拟中牢牢抓住筷子,并实现一些基本的开合筷子的动作。原创 2023-12-18 09:42:17 · 877 阅读 · 0 评论 -
直接激光雷达里程计:基于稠密点云的快速定位
四种不同数据回收方案的处理时间和CPU使用情况的箱形图,范围从无数据结构重用到部分重用和完全重用。指的是两个点云中的两个点的距离差。(1)提出了一个定制的“速度优先”的处理流程,这个流程可以实时精确的估计位姿,对预处理的需求比较小,并且IMU是可选项。(3)定制迭代点云解算器NanoGICP,用于轻型点云扫描点的匹配,具有跨对象数据共享和数据重用的功能。(2)提出了一个新的关键帧系统,可以根据环境信号自适应的选择关键帧,并且可以通过凸优化快速的生成子图。与帧间匹配类似,这里的输出即为机器人最终的估计位姿。原创 2023-10-07 20:44:07 · 354 阅读 · 1 评论 -
强化学习&机器人day2
评估指标。原创 2023-04-11 08:01:51 · 37 阅读 · 0 评论 -
强化学习&机器人day1
AI的过去未来。原创 2023-04-10 11:02:22 · 43 阅读 · 0 评论