突破性进展！加州大学伯克利分校提出Causal Transformer模型，实现人形机器人通过强化学习适应真实世界人形运动

最新推荐文章于 2025-03-20 19:31:52 发布
最新推荐文章于 2025-03-20 19:31:52 发布
阅读量1.2k 收藏 7
点赞数 8
分类专栏： 强化学习及自动驾驶 机器人 文章标签： transformer 机器人 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44887311/article/details/136182508
版权
加州大学伯克利分校的研究人员开发出CausalTransformer模型，使人形机器人能在复杂环境中稳健行走，通过学习和自回归预测改善适应性。模型在大规模模拟环境中训练，展示了在现实世界中的强大适应性和鲁棒性，预示着机器人在医疗、教育等领域广泛应用的可能性。
摘要由CSDN通过智能技术生成

人形机器人具有模仿人类行为和形态的能力，可以胜任一些复杂、危险或单调的工作。除却在传统的工业生产线和仓储物流领域帮助解决劳动力短缺问题，在医疗、教育、家庭服务等多个领域人形机器人也具有巨大应用潜力。

然而，由于智能化水平仍有待提升，目前大部分人形机器人在适应新环境方面仍存在难度。前不久，来自加州大学伯克利分校的研究人员提出了使用序列建模和动作预测的Causal Transformer模型。该模型实现了让人形机器人可以在室内外各种环境中稳健行走，应对不同地形，甚至还能背个书包，提袋垃圾。

在这里插入图片描述

那么该模型具体是如何实现的呢？接下来一起和机器人大讲堂来深入看看吧！

▍学习人形运动

研究人员提出了一种创新的基于学习的人形运动方法，其核心是一个Transformer控制器。该控制器通过自回归的方式，根据过去的观察和动作历史来预测未来的动作。

我们假设，观察和行动的历史能够隐式地编码关于世界的信息。借助强大的Transformer模型，研究人员能够在测试时利用这些信息来动态调整模型的行为。
在这里插入图片描述

该控制器是一个因果 Transformer，通过从观察动作历史中对未来动作的自回归预测进行训练

例如，模型可以利用期望状态与实际状态的历史记录，来决定如何调整操作，以便更好地实现未来的状态。这种学习方式可以被视为一种上下文学习，即在不更新模型参数的情况下，改变模

最低0.47元/天 解锁文章
人形机器人强化学习控制分类
xiaoc100200的博客
07-06 1218
人形机器人（Humanoid Robot）的控制是机器人学中的一个重要研究方向，其中强化学习（Reinforcement Learning, RL）技术近年来得到了广泛的应用。
Humanoid-Gym 开源人形机器人端到端强化学习训练框架！星动纪元联合清华大学、上海期智研究院发布!
weixin_46300916的博客
03-08 7147
Humanoid-Gym是一个基于Nvidia Isaac Gym的易于使用的强化学习（RL）框架，旨在训练仿人机器人的运动技能，强调从仿真到真实世界环境的零误差转移。Humanoid-Gym 还集成了一个从 Isaac Gym 到 Mujoco 的仿真到仿真框架，允许用户在不同的物理仿真中验证训练好的策略，以确保策略的鲁棒性和通用性。
伯克利Digit——基于下一个token预测技术预测机器人动作token：从带RL到不带RL的自回归预测
结构之法 算法之道
01-28 6610
本工作为语言交互的机器人操作策略提供了一个新颖的基于现有开源 VLMs 的框架，使用简单微调就能实现出色的效果。RoboFlamingo 为机器人技术研究者提供了一个强大的开源框架，能够更容易地发挥开源 VLMs 的潜能。工作中丰富的实验结果或许可以为机器人技术的实际应用提供宝贵的经验和数据，有助于未来的研究和技术发展参考文献：第二部分// 待更。
炸翻ICLR25！“Transformer+因果推理”全新突破！
最新发布
2401_82426425的博客
03-20 683
Transformer可以说是AI领域最重要的模型之一，但其可解释性和可靠性较差，无法满足诸多重要现实场景的需求（医学、金融、自动驾驶等），限制了其使用和自身技术进步。而这些则是因果推理的优势，当两者结合，便能优势互补，显著提升模型的准确性、可靠性、泛化性，为解决复杂问题提供全新的思路。因此，！光是ICLR2025就有多篇！其中模型AT-Transformer便是麻省理工的倾力之作，其通过这两者的结合，就实现了比GPT-4还高26%的性能。
HumanPlus——斯坦福ALOHA团队开源的像人类影子一样的人形机器人：仿真中训小脑HST、真实中训大脑HIT
热门推荐
结构之法 算法之道
06-16 1万+
今天只是一个平常的日子，不过看到了两篇文章一篇是《半年冒出近百家新公司，「具身智能」也有春天》我看完之后转发到朋友圈，并评论道：让机器人翻一万个后空翻，不如让机器人打好一个螺钉，毕竟在目前阶段 炫酷没有意义，所以我们近期全力为工厂去赋能，解决一个个工业场景期待我司与更多工厂合作，从前期的验证、评估开始另外一篇文章便是之前斯坦福Moblie aloha团队竟然开源推出了他们的人形机器人，虽然我司下半年暂不涉足人形机器人(更多还是解决工厂实际业务场景 怎么把活干好、干漂亮则怎么来，是否人形不重要)
transformers-Causal lanuage modeling
liguandong
11-01 427
causal lanuage model常用于文本生成。预测token系列中的下一个toekn，并且model只能关注左侧的token，模型看不到右侧的token。
人形机器人如何实现自主学习和适应复杂任务？
百态老人的博客
07-19 1073
人形机器人通过大模型、具身智能、数据驱动的自主学习、模仿学习和强化学习等技术实现自主学习和适应复杂任务。
【科研案例】加州大学伯克利分校大牛Pieter Abbeel团队又出大招，H1人形机器人可以这么研究？（文末附期刊论文）
lom2m6ve的博客
04-30 2078
加州大学伯克利分校提出了一个高维模拟机器人学习基准HumanoidBench。并把该项目研究的详细内容已经发表在ArXiv期刊上。
解锁工业场景下的时序因果发现，清华&阿里巴巴&伯克利联合提出RealTCD框架：通过大语言模型提升发现质量！
math_bearrr的博客
05-03 1192
1. 框架概述RealTCD框架设计了两个主要模块：基于分数的时间因果发现（Score-based Temporal Causal Discovery）和LLM引导的元初始化（LLM-guided Meta Initialization）。这两个模块共同作用，利用大型语言模型（LLMs）处理文本信息，并从中提取元知识来初始化因果结构，进而优化和发现时间因果关系。2. 基于分数的时间因果发现此模块首先开发了一种基于分数的方法，通过策略性掩蔽和正则化学习因果关系。
大模型微调实战之 Transformer 强化学习（TRL Reinforcement Learning）（五）用 ORPO 将 Llama 3 的性能提升到新高度
段智华的博客
04-28 343
大模型微调实战之 Transformer 强化学习（TRL Reinforcement Learning）（五）用 ORPO 将 Llama 3 的性能提升到新高度尽管最近的语言模型偏好对齐算法展示了有希望的结果，但监督式微调（SFT）对于实现成功的收敛仍然至关重要。在本文中，我们研究了SFT在偏好对齐背景下的关键作用，强调对于不受青睐的生成风格只需轻微的惩罚就足以实现偏好对齐的SFT。基于这一基础，我们引入了一个简单且创新的无需参考模型的单一几率比偏好优化算法，即ORPO，消除了额外偏好对齐阶段的必要性。
【自然语言处理六】利用transformer模型实现机器翻译
moo611的博客
01-01 3027
transformer模型由encoder,decoder构成，每一个encoder分为六层，每一层又分为一个前馈网络和一个多头注意力层。decoder也分为六层，每一层都由两个注意力层和一个前馈网络组成，一个是自注意力层，一个是和encoder最终输出组成的注意力层。下面是利用transformer模型实现机器翻译的简单例子，框架用的是tensorflow。 训练部分 import re import string from itertools import count from operator imp
第35章：聚焦于长文本处理的Transformer模型LED架构及完整源码实现
StarSpaceNLP667的博客
11-27 213
1，Self-attention的问题及背后的数学原理分析 2，local windowed attention背后的数学原理分析 3，面向Task的global attention 4，LEDTokenizer源码完整实现解析 5，shift_tokens_right源码完整实现解析 6，make_causal_mask源码完整实现解析 7，expand_mask源码完整实现解析 8，LEDLearnedPositionalEmbedding源码完整实现解析 9，LEDEncoderB..
一文搞懂 Transformer 中的三种注意力机制
机器学习社区
05-16 3187
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。《Attention is All You Need》3.2.3 注意力机制的应用Transformer使用多头注意力机制的三种不同方式如下：在“编码器-解码器注意力”层中，查询来自前一层解码器，而记忆键和值则来自编码器的输出。这使得解码器中的每个位置都能关注输入序列中的所有位置。
语音去噪深度学习模型论文总结（大多基于transformer）
NUSMYDREAM的博客
01-10 8980
深度学习模型： ​ 我总结了之前看的模型，并又寻找了基于transformer的模型，挑选了四个性能较好（评判标准是各种语音评价指标、该论文提出的模型与已有模型相比较得到的结果）的模型，其中前面三个是基于transformer的模型，最后一个是基于CRN网络的模型。每个论文的链接都在介绍后给出。 《T-GSA: Transformer with Gaussian-Weighted Self-Attention for Speech Enhancement》该论文发表于2020.5的ICASSP上。提出了一
“机器人正在接管旧金山”
量子位
01-27 86
西风 发自 凹非寺量子位 | 公众号 QbitAI一批人形机器人在美国旧金山街头出没，引得过往行人驻足留观：‍‍‍可能还去上了个课，从加州大学伯克利分校校门大摇大摆走出：‍路线不对，踩着小碎步，稳步调头：‍‍‍或者不装了，调什么头，直接倒着走：‍‍在各种场景下都可以看到它们的身影：于是乎，网友传出了“机器人正在接管旧金山”的消息????：要不是视频中还有人类出镜，网友都要怀疑这是不是真的在旧金山：这就是...
你真的懂Transformer了吗？超全分析模型的参数量、计算量！
CV_Autobot的博客
07-25 1万+
作者| 丰臣英俊 编辑| 野马逐星点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【Transformer】技术交流群本文只做学术分享，如有侵权，联系删文前言最近，OpenAI推出的ChatGPT展现出了卓越的性能，引发了大规模语言模型(Large Language Model, LLM)的研究热潮。大规模语言模型的“大”体现在两个方面：模型参数规模大...
一文搞懂 Transformer（总体架构 & 三种注意力层）
2401_84033492的博客
05-25 1万+
本文将从Transformer的本质、Transformer_的原理_、_Transformer的应用__三个方面，带您一文搞懂Transformer（总体架构 & 三种注意力层）。节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。
LLM主流框架：Causal Decoder、Prefix Decoder和Encoder-Decoder
TFATS的博客
01-12 7308
前缀语言模型可以根据给定的前缀生成后续的文本，而因果语言模型只能根据之前的文本生成后续的文本。在模型架构代表LLM注意力机制是否属于Decoder-Only纯单向YESFlan-T5输入双向NO输入双向，输出单向YES。
推荐项目：Humanoid-Gym —— 用于人形机器人强化学习的框架
gitblog_00043的博客
05-30 2423
推荐项目：Humanoid-Gym —— 用于人形机器人强化学习的框架 去发现同类优质开源项目:https://gitcode.com/ [项目主页] 在人工智能领域，人形机器人的自主运动一直是研究的热点。Humanoid-Gym 是一个基于 Nvidia Isaac Gym 的强大框架，旨在简化人形机器人的强化学习（RL）过程，并实现从仿真到真实环境的零射击迁移（Zero-Shot Sim2Re...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值