元象推出国内首个基于物理的3D动作生成模型MotionGen

www.MotionGen.cn

一句话生成复杂3D动作，效果惊艳！测试期可申请免费试用。

3D内容制作领域，生成逼真的角色动作生成是一个持续挑战，传统方法依赖大量的手K制作，或昂贵动作捕捉设备，效率低、成本高、难以生成一般运动任务或适应复杂场景和交互。

元象XVERSE推出国内首个基于物理的3D动作生成模型MotionGen，创新性融合大模型、物理仿真和强化学习等前沿算法，让用户输入简单文本指令，就能快速生成逼真、流畅、复杂的3D动作，效果惊艳，标志着中国3D AIGC领域的重大突破。

元象MotionGen动作生成模型

现在起，零经验创作者也能轻松上手，创造高质量动画，为动画、游戏、电影和虚拟现实行业带来了极高创作自由度。

作为国内领先的AI+3D公司，元象研发了多款创新AIGC工具，包括广东首批获国家备案的元象大模型、图文多模态大模型、基于3DGS革命性技术的3D场景生成工具、让“虚拟世界活起来”的3D动作自动生成算法等。元象的目标是持续提升认知智能（AI）和感知智能（3D），加快迈向通用人工智能（AGI），让每个人能自由地“定义你的世界”。

3D动作生成效果

通过精准文本解析、真实物理规则解析以及动作和风格上的多样性，模型支持从基础行走到复杂的肢体运动的各类动作创意需求，使3D角色动画制作更加高效。

精准文本理解

能够深入分析复杂的长句指令，根据复杂语义准确生成相应的动作，实现文本到动作的无缝连接，为3D角色提供了广泛的行为选择。

例子：一个人用右臂向下拍打某物，然后用右腿向某物踢两下，同时顺时针旋转。

动作丰富性

能够创造出多种类型的动作，覆盖了行走、奔跑、跳跃、踢击、旋转、打击、拉伸和弯腰等，为3D角色提供了广泛的行为选择。

例子：不同类型动作的集合。

真实物理仿真

所生成的动作不仅符合描述要求，而且会根据实际物理环境做出自然的调整，动作连贯且符合物理真实（如下图：角色冲刺后自主进行刹车）。

例子：一个人弯下腰，摆好起始姿势，然后冲刺出去。

风格多样性

即便是执行同一种动作，模型也能够根据文本中描述的微妙差异来呈现不同的风格变化，这让每个动作都具有独特性和可识别性。

例子：不同风格的走路姿势。

MotionGen技术实现

3D动作生成的传统方法存在诸多挑战：运动控制器（motion controller）方法，设定参数后能生成简单动作，但无法生成复杂动作；时空优化（spacetime optimization）方法，通过优化每帧位置和姿态，能生成流畅复杂的动作，但需精心设计目标函数和手动调参，工作量大，动作也无法复用到变化的环境或任务中；运动学（kinematic）方法，能生成高质量的单个动作，但处理不好重力和惯性等物理约束，连续动作会不够真实；基于物理的运动控制方法，对角色的每个关键施加力和力矩，让动作符合物理规律，但无法直接用在传统的生成模型中。

MotionGen工具基于元象自主研发的MotionGenGPT算法，将物理仿真、模仿学习、强化学习、矢量量化变分自编码器、Transformer模型等多种复杂算法进行创新性融合，无需人工设定或调整参数，可直接生成逼真流畅的复杂3D动作，并可应用到任意角色的骨架驱动。

强化学习+物理仿真：让动作自然逼真

使用动捕数据进行动作生成模型的训练是目前业界普遍采用的方法。但原始动捕数据通常会带有抖动和误差等问题，使其不够自然和符合物理规律。我们结合深度强化学习，通过在仿真环境中模仿人类动捕数据的模仿学习[1,2,3,4]可以生成更自然的动作。由于使用动捕数据，该方法无需设计特定的目标函数，而是利用统一的模仿误差作为优化目标。通过在训练过程中引入扰动和改变目标，训练出的控制器可以适应目标motion的变化，呈现自然的过渡动作。

VQ-VAE：提取特征并复用

基于基于矢量量化变分自编码器（VQ-VAE）[5]。近几项研究表明，VQ-VAE提供了一个有效且紧凑的动作表征，许多运动学中的动作生成模型[6,7,8]已经证明了VQ-VAE这种离散但紧凑的隐空间表示适用于在大型数据集上训练，并可应用到各种下游任务中。受此启发，我们将VQ-VAE训练得来的动作表征和GPT结合起来，实现基于物理模拟的文本生成动作。

Transformer：文本与动作的高效连接

在文本生成动作的任务中，Transformer 结构发挥了关键作用。受序列模型近两年发展的启发，我们通过 Transformer 的注意力机制[9]，在文本与动作表征之间建立了复杂而精准的联系。通过双 Transformer 设计，模型不仅生成了基础动作编码，还进一步细化了这些编码，捕捉到运动的微妙细节。这种多层次编码方式使生成的动作既符合物理规律，又展现出自然的流动性和多样性，极大提升了文本驱动动作生成的表现力。该设计使 MotionGenGPT 能够从文本中生成多样且高度逼真的运动序列，实现了自然语言与运动控制的无缝连接。

MotionGenGPT算法分为两大框架：

第一部分是学习物理正确的动作表征（motion embeddings）。研发团队基于物理模拟的运动控制，采用残差矢量量化变分自编码器（Residual VQ-VAE）结合强化学习，从大量非结构化的人类运动数据集中学习动作表征（motion embeddings）。通过引入离散动作表征，有效捕获多样化的运动技能，为后续文本编码器的接入提供了稳健的先验分布接口。

第二部分是对于生成模型的应用，算法框架用自注意力机制（Self-attention mechanism）训练了两个 Transformer 模型。第一个模型是掩码 Transformer（Masked Transformer），负责从文本编码推理出基层（base layer）动作编码。第二个模型是残差 Transformer（Residual Transformer），基于基层动作编码生成更精细的残差矢量化动作编码。

这一设计提升了生成动作的细节表现力和与文本指令的匹配度，为文本生成动作任务提供了支持。