深度生成模型（一）——具身智能综述与算法分类简介

最新推荐文章于 2025-03-28 20:43:11 发布
最新推荐文章于 2025-03-28 20:43:11 发布
阅读量884 收藏 12
点赞数 18
分类专栏： 具身智能算法基础 文章标签： 算法 transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28912651/article/details/145846549
版权

具身智能对于机器人的控制可以分为端到端模型和非端到端模型：

  1. 端到端模型：具身模型（如 ACT 和 DP）将视觉感知（Vision）与动作生成（Action）整合为单一神经网络，直接实现从多模态输入到连续动作的端到端映射。采用 CLIP 或 ViT 处理 RGB/Depth 图像，提取场景的语义特征，然后基于扩散策略模型（Diffusion Policy）或 Transformer 解码器生成末端空间位置信息
  2. 非端到端模型：具身分层模型（如 OpenVLA）以VLM为认知核心，将任务分解为感知、规划、控制三层架构，通过显式中间表示（如场景图、任务树）连接各模块。VLM（如GPT-4V、PaLI-X）解析视觉输入，生成场景描述（如"桌上有杯子，左侧有书本"）；符号推理引擎（如 PDDL 规划器）将语言指令转化为动作序列（如"移动→抓取→放置"）；传统控制器（如MPC、阻抗控制）执行底层运动

端到端模型又可拆分为预训练模型和非预训练模型，预训练模型（如 RDT）采用强化学习和 sim2real 的方式生成大量数据并进行迁移，具体可以参考这些文章；非预训练模型（如 DP）通过设计快速采集设备（如 UMI 和 Dexcap）通过模仿学习的方式采集海量真机数据具体可以参考这些文章

作为自己的核心研发方向，主要针对端到端模型进行研究

端到端模型底层核心采用了深度生成模型，如 ACT 基于 VAE，扩散策略基于扩散模型

因此先梳理一下生成式模型

目录

1 判别式模型与生成式模型

1.1 判别式模型

1.2 生成式模型

2 基于似然的生成模型

2.1 自回归模型

2.2 变分自编码器（VAE）

3 基于能量的生成模型

3.1 生成对抗网络（GAN）

3.2 扩散模型与稳定扩散模型

4 对比总结

1 判别式模型与生成式模型

人工智能（AI）模型可以大致分为两大类：判别式模型和生成式模型

1.1 判别式模型

判别式模型主要用于预测和分类任务。它们直接对输入数据进行建模，学习输入与目标标签之间的映射关系。典型的应用场景包括图像分类、语音识别以及自然语言处理中的文本分类。数学上，判别式模型通常直接估计后验概率 P(y|x)：

P(y|x) = \frac{P(x, y)}{P(x)}

其中，x 为输入数据，y 为类别或标签。常见的判别式模型有逻辑回归、支持向量机（SVM）、决策树以及深度神经网络中的卷积神经网络（CNN）和循环神经网络（RNN）

1.2 生成式模型

与判别式模型不同，生成式模型旨在根据用户需求自动生成内容，例如生成图片、语音、视频等，并支持调整输入参数以实现内容定制化。生成式模型不仅关注数据的条件关系，还要捕捉数据的整体分布，从而生成符合实际分布的新样本，支持多模态数据。数学上，生成式模型通常建立在对数据分布 P(x) 或条件分布 P(x|y) 的建模上。当前主流的深度生成模型可分为两大类：

  1. 基于似然的模型（如自回归模型和GPT）通过明确的似然函数进行优化，使得模型具有可追踪性
  2. 基于能量的模型（如GAN和扩散模型）则依赖于能量函数构建概率分布，虽然训练上具有一定难度，但在生成高质量样本方面展现出强大能力

2 基于似然的生成模型

基于似然的模型通过显式地计算数据的似然值，从而使得模型训练具有明确的目标函数。这类模型在理论上具有可追踪的似然性，在优化模型参数时可以直接使用数据的对数似然估计

2.1 自回归模型

自回归模型是一类典型的基于似然的生成模型，其核心思想是将联合分布分解为一系列条件分布。例如，对于序列数据 x=(x1,x2,…,xn)，可以将其联合概率表示为：

p(x) = \prod_{i=1}^{n} p(x_i \mid x_1, x_2, \dots, x_{i-1})

这种模型在文本生成中得到了广泛应用，GPT（Generative Pre-trained Transformer）便是典型的自回归生成模型，其训练目标就是最大化训练数据的对数似然：

\mathcal{L} = \sum_{i=1}^{n} \log p(x_i \mid x_1, \dots, x_{i-1})

2.2 变分自编码器（VAE）

变分自编码器（VAE）通过引入隐变量 z 来捕捉数据的潜在结构，并利用变分推断方法来近似计算数据的似然。其目标是最大化变分下界（Evidence Lower Bound, ELBO），公式为：

\mathcal{L} = \mathbb{E}_{q(z \mid x)}\left[\log p(x \mid z)\right] - \text{KL}\left(q(z \mid x) \parallel p(z)\right)

其中，q(z∣x) 为近似后验分布，p(z) 为先验分布，\text{KL}(\cdot\parallel\cdot) 为 Kullback-Leibler 散度，用于衡量两个分布之间的差异

VAE 的优势在于其生成过程的连续性和模型训练时的稳定性，但往往在生成样本的清晰度上略逊于自回归模型

3 基于能量的生成模型

基于能量的生成模型侧重于定义一个能量函数 E(x) 来衡量样本的“能量”或“不合理性”，从而构造概率分布。生成样本时，通过降低能量来获得高概率的样本，其概率分布可以表示为：

p(x) = \frac{\exp(-E(x))}{Z}

其中 Z 为归一化因子（又称分区函数），定义为：

Z = \int \exp(-E(x)) \, dx

3.1 生成对抗网络（GAN）

生成对抗网络（GAN）虽然在参数化上具有较大的灵活性，但实际上也可以看作是一种基于能量思想的模型。GAN 由生成器 G 和判别器 D 组成，其目标是通过博弈论的方式达到如下目标：

  • 生成器：生成尽可能逼真的样本，使得判别器无法区分生成样本与真实样本
  • 判别器：区分真实样本和生成样本

其训练过程通常采用交替优化的方式，损失函数形式为：

\min_G \max_D \; \mathbb{E}_{x\sim p_{data}(x)}[\log D(x)] + \mathbb{E}_{z\sim p(z)}[\log(1-D(G(z)))]

3.2 扩散模型与稳定扩散模型

扩散模型是的核心思想是先将数据逐步添加噪声直至完全随机化，然后通过学习反向扩散过程逐步还原数据。该过程可以描述为一系列马尔科夫链的逆过程。扩散模型中通常采用的策略是最小化数据与重构数据之间的距离，常见的损失函数为均方误差（MSE）：

\mathcal{L}_{\text{diff}} = \mathbb{E}\left[\|x - \hat{x}\|^2\right]

其中 x^ 为通过逆扩散过程还原的样本。稳定扩散模型（Stable Diffusion）作为扩散模型的典型应用，凭借其较高的生成质量和多样性在图像生成领域取得了显著的成果

虽然基于能量的模型在参数化和生成多样性方面具有优势，但由于涉及归一化因子的计算以及复杂的逆过程，其训练过程通常比基于似然的模型更为困难，需要精细的设计和大量计算资源

4 对比总结

  • 判别式模型主要用于预测和分类，直接学习输入到标签之间的映射
  • 生成式模型则致力于从数据分布中生成符合实际样本的新数据，支持多模态数据（图像、语音、视频等）的生成
  • 基于似然的生成模型（如自回归模型和变分自编码器）通过明确的似然函数进行优化，使得模型具有可追踪性
  • 基于能量的生成模型（如GAN和扩散模型）则依赖于能量函数构建概率分布，虽然训练上具有一定难度，但在生成高质量样本方面展现出强大能力

这些模型各自有不同的应用场景和发展方向

具身智能研究报告
BigDavid123的博客
01-29 2477
本文对于了解具身智能是干嘛的会有一些帮助
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
具身智能（开篇-硬件和算法）
weixin_48878618的博客
11-20 1231
从2023年伊始具身智能逐步开始成为热词，到今天更是成为学术界和工业界争相追逐的领域，所有人都在问机器人的时代真的要到来了吗？我们不给具体的答案，先看一下全球的动态，作为全球技术大咖兼大网红的马斯克推出了人形机器人，脑机控制，华人的技术大拿李飞飞创办了空间智能，宇树的王兴兴。
具身智能概念及现状
yzf060109的专栏
09-21 2807
ŸSayCan：谷歌机器人大模型的开端。未来随着大模型的发展，特别是融合感知、多模态和泛化能力的突破，有望显著推动运动控制技术的进步，实现更加精准、复杂和实时的运动调节，推动具身智能在更多行业的应用。大语言模型（LLM）、视觉语言模型（VLM）等基础模型的最新进展，特别是ChatGPT、PaLM等模型在具身智能中的应用，有效增强了其感知和决策能力，推动大模型成为具身智能实现“感知-推理-预测-行动”能力的主流架构，业界已经有多款模型发布，并在各类复杂任务中取得了显著的进展，且这些模型仍在快速迭代与优化中。
什么是具身智能
最新发布
suzhigao的博客
03-28 886
具身智能是指通过身体与环境的动态互动，实现对世界的感知、认知和行为控制的智能系统。具身智能的科学立论是真正的理解源于行为实践，通过实际的行动和交互，机器或个体才能深刻地理解和具象化场景与概念。具身智能架构定义--来源于头豹研究院“知行合一”是具身智能的核心科学理论，认为只抽象化概念，但并不进行实际 的操作行动，人工智能是无法达到AGI的。具身智能是指通过身体与环境的动态互动，实现对世界的感知、认知和行为控制的智能系统，它强调智能行为的产生不仅仅依赖于内部处理，而是与身体的能力、感知和动作紧密相关。
具身智能都有哪些技术栈？
CV_Autobot的博客
09-28 1712
前十年自动驾驶，后十年具身只能，一位资深自动驾驶从业者这样和我们说。具身智能是什么？具身智能广义上是指具有物理身体的智能体，能够与环境进行互动，感知周围世界，自主学习、决策并执行任务。说到这里，像人形机器人、四足机器人、机械臂系统、自动驾驶系统算广义上的具身智能，能够感知周围环境并作出反应或执行。GPT这类大模型从狭义上理解，当然也可以算。如果再来看工业界的产品落地，扫地机也是，只是没有那么智能罢...
迈向通用具身智能：基于基础模型实现通用机器人抓取任务
数据派THU
07-22 507
来源：专知 本文约3200字，建议阅读5分钟 在这篇论文中，我们提出了一种新的范式，有效地利用最先进的基础模型生成的语言定位分割掩模，来解决日常场景中各种拾放机器人操作任务。改善通用机器人代理的泛化能力长期以来一直是研究社区积极追求的重要挑战。现有的方法通常依赖于收集大规模的现实世界机器人数据，如 RT-1 数据集。然而，这些方法通常效率较低，限制了它们在开放领域的新对象和多样化背景下的能力。在这...
一文读懂具身智能：方法、进展及挑战
数据派THU
01-04 264
来源：腾讯研究院 本文约11400字，建议阅读15分钟 本文介绍了具身智能的方法及挑战。‍‍‍‍‍‍‍‍具身智能，通俗来说，是指研究在环境中具有实体的智能体（如现实或仿真环境下的机器人，能够直接与环境进行物理交互）如何通过与环境的交互来取得认知能力，学习并掌握新技能新知识的一个人工智能的子领域。主流具身智能训练方法面临的挑战在深度学习范式下，具身智能的研究主要集中在模仿学习(Imitation L...
llm综述——通过一篇综述全面了解大模型
xs86467的博客
10-02 1034
A large-scale, pre-trained, statistical language models based on neural networks. (大模型：基于神经网络的大规模预训练统计语言模型。语言模型的发展可以被分为四个阶段：统计模型、神经网络语言模型、预训练模型。与PLMs（预训练语言模型）相比，LLMs不仅仅在模型参数量上大，在语言理解、生成能力上也展现出更强的实力。更重要的是，
计算机视觉领域的深度学习模型——卷积神经网络(CNN)及其在图像识别中的应用
AI天才研究院
08-20 1627
作者：禅与计算机程序设计艺术 1.简介 近年来，随着人工智能技术的飞速发展，给生活带来了翻天覆地的变化。人工智能技术主要应用于图像处理、自然语言处理、机器视觉等领域。其中，计算机视觉方面，百度推出了一款基于卷积神经网络（Convolutional Neural Network，CNN）的图像识别系统，在
ChatGPT 大模型深度学习系统科学的视角——“大模型”深度学习是结构与组合的艺术
AI天才研究院
06-28 992
近年来,随着计算机硬件性能的飞速发展和海量数据的积累,深度学习技术取得了突破性进展。尤其是以 ChatGPT 为代表的大规模语言模型,展现出了惊人的自然语言理解和生成能力,引发了学术界和工业界的广泛关注。这些大模型的成功离不开深度学习系统科学的支撑。大模型的核心算法可以概括为:基于 Transformer 的自监督预训练 + 针对下游任务的微调。其原理可以用下图表示:fill:#333;color:#333;color:#333;fill:none;大规模无标注语料自监督预训练预训练语言模型。
深度学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 32万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
具身智能（Embodied AI）
weixin_48878618的博客
10-11 1525
尽管人工智能被吹嘘的很美丽，但我们现在所使用的基于人工智能的机器人，是先在仿真环境中学习，再应用于真是世界，尽管它具有很强的能力，但在真实世界中它并没有重新学习的能力，现实世界中新出现的，在仿真环境中没有被训练的状况，它不能解决。但具身智能让机器人有了在真实世界中学习的能力。
全球具身智能2024进展回顾
lovely_yoshino的博客
10-10 5707
过去几个月，具身智能领域的进展可谓令人瞩目，进展速度令人振奋。尽管人工智能从数字世界向物理世界的过渡仍面临诸多挑战，但随着才华横溢的研究人员不断投入其中，我们已经见证了无数令人惊叹的突破。几年后回顾这一切，这无疑将成为人类科技史上的重要篇章。我们离创造出匹敌甚至超越人类智能的硅基生命体越来越近了。这不仅是技术的胜利，也是人类自身对智能本质的一次深刻对话。
具身智能（Embodied Intelligence）概述
q15516221118的博客
08-31 2839
最近无论是斯坦福机器人炒虾，还是特斯拉官宣机器人进厂，都赚足了眼球，实力证明了具身智能（Embodied Intelligence）的火爆。先不说具身智能是实现AGI的关键环节，也是未来研究的重要方向，从发论文的角度来看，，可见入局具身智能早已成了必然趋势。具身智能（Embodied Intelligence）是人工智能和认知科学中的一个研究方向，着重于研究智能体如何通过与物理环境的互动来获得和展现智能。与传统的计算机智能不同，具身智能强调智能体的身体和环境在认知过程中的重要性。
具身智能新时代
AI从业者的专栏
01-17 942
一、初窥具身智能神秘面纱 想象一下，当你下班回家，疲惫不堪，家中的智能机器人不仅能精准地识别你的情绪状态，还能迅速为你准备好一杯热气腾腾的咖啡，接着有条不紊地播放你最爱的舒缓音乐，甚至还能根据你的身体状况，贴心地为你制定一份专属的放松计划。这看似科幻电影中的场景，却正是具身智能技术努力实现的目标。 具身智能，这一听起来既陌生又充满未来感的概念，正逐渐走进我们的生活。它究竟是什么？简单来说，具身智能是指智能体通过与环境进行物理交互，从而实现感知、学习、决策与行动的一种人工智能形式。与传统人工智能有所不
六分钟了解具身智能
2302_81310818的博客
11-29 1699
具身智能是指一种基于物理身体进行感知和行动的智能系统。
【谈谈具身智能】
qq_45611002的博客
01-16 803
具身智能是一种基于物理身体进行感知和行动的智能系统，其核心在于让智能系统能够以主人公的视角去自主感知物理世界，通过拟人化的思维路径进行学习，从而做出人类期待的行为反馈，而不是被动地等待数据输入。具身智能的物理实体可以有多种形态，包括双足、四足、轮式、机械狗、智能无人机甚至机械小蜜蜂等，并不局限于人形。人形机器人通常具有双足、双臂和头部等人类外形特征。核心特点（1）物理身体与环境交互：强调智能体与其物理形态和所处环境之间的密切联系，认为智能行为是通过身体与环境的交互而产生的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值