毕业设计项目（难度高）——文本驱动的可控人体动作生成方法（论文/代码）

指针从不空

于 2024-10-07 10:31:33 发布

阅读量367

点赞数 11

分类专栏： # 付费资料文章标签：机器学习深度学习文本驱动动作生成

本文链接：https://blog.csdn.net/weixin_45605341/article/details/142704891

版权

付费资料专栏收录该内容

14 篇文章 0 订阅

订阅专栏

完整的论文代码见文章末尾以下为核心内容

摘要

本文实现了一种基于扩散模型的文本驱动的可控人体动作生成方法。本文利用先进的交叉模态线性变换器及细粒度控制技术，根据自然语言描述生成逼真的人体动作序列。扩散模型在生成高质量图像和视频方面有较大优点，本文将其改进性地应用于动作生成领域，实现了从文本到可控动作的转换。其次，本文对批量生成的运动数据进行筛选和进一步处理。最终，使用Motion Matching技术进行动作拼接和交互控制，实现一个可交互的角色动画控制器，进一步提高了动作序列的自然度、可控性和实用性，展示了模型在三维动画生成等实际应用场景中的有效性和适用性。

本文工作

本文实现了一种基于扩散模型的文本驱动的可控人体动作生成方法。利用先进的交叉模态线性变换器及细粒度控制技术，从自然语言描述中生成逼真的人体动作序列。此外，使用Motion Matching技术进行动作拼接和交互控制，最终实现一个可交互的角色动画控制器，进一步提高了动作序列的自然度、可控性和实用性。实现内容主要有以下三方面：

模型架构，即基于扩散模型结合交叉模态线性变换器，通过逐步去噪的方法精确地模拟动作生成过程。

数据处理与优化，即构建并优化包含丰富文本描述的动作数据集，实现高效的数据处理和增强功能，以适应模型训练的需求。

交互控制技术，即通过动作拼接技术和实时交互控制，进一步增强模型在实际应用中的灵活性、可控性，提高用户体验。

实现方法

本文首先通过基于扩散模型的深度学习模型实现了依据文本条件的可控动作序列的生成。其结构主要如下：

去噪扩散概率模型 (DDPM)：其负责逐步去除高斯噪声，从而生成目标动作序列。该模型通过控制噪声添加和去除的步骤，实现了从随机噪声状态逐渐恢复出清晰的动作序列的能力。

基于Transformer的编码解码层：该层包含文本编码器和动作解码器，采用了Transformer架构来将自然语言描述映射到动作序列。文本编码器使用CLIP模型预训练的特征提取能力，增强了模型对文本的理解和处理。

跨模态线性Transformer层：这一层是为处理变长的动作序列而设计，包括线性自注意力和交叉注意力等组件，专门处理基于文本提示的输入序列。可以在不同的时间步骤中根据文本描述动态调整动作生成。

细粒度控制：在生成动作序列时对身体的不同部分进行独立控制，以及根据时间的变化对动作进行调整。这增加了动作生成的精确性和适应性，使得生成的动作更加符合文本描述且自然。

对模型批量输出的动作序列筛选出可利用的部分创建生成BVH文件，作为运动数据集，然后通过读取BVH和前向运动学的功能对运动数据进行进一步的处理与拼接，最终通过利用Motion Maching技术实现一个可交互的角色动画控制器，其可以根据键盘或鼠标的控制进行相应的动作。

动作拼接和交互控制主要通过以下算法来实现：

动作的平移与面朝，即对BVH文件进行平移和旋转对齐，确保动作的一致性和准确性。通过算法分解旋转成两个部分，一部分是绕y轴的旋转，另一部分是在xz平面的旋转，实现了精确的动作对齐。该过程包括调整根节点的位置和方向，以匹配目标平面位置和朝向，确保动作在空间上与目标位置和朝向一致。

动作的插值与融合，即将两个动作序列融合成一个连续的序列。使用球面线性插值（SLERP）和线性插值方法来平滑过渡和融合动作。根据融合系数，这些系数决定了两个原始动作在不同帧上的融合程度，实现动作的自然过渡。

动作的循环及对齐，即处理动画序列中的循环和对齐，使动作能够无缝循环播放。通过调整四元数的方向一致性和计算角速度，实现动作在循环过程中的平滑性和连续性。使用阻尼计算模拟动作衰减，确保动作在循环中自然过渡。

动作拼接与控制，即将两个独立的动作数据平滑地连接起来。详细介绍了对动作序列进行切割、对齐、和混合的方法，包括对动作的起始和结束帧进行调整，以确保动作在空间位置和面向方向上的一致性。通过惯性混合和线性插值法，增加了动作序列的物理连贯性和视觉平滑性。

去噪扩散概率模型层

DDPM（Denoising Diffusion Probabilistic Model）过程通过几个核心类和函数实现，涵盖了创建扩散路径、建模逆向扩散过程以及最终采样的逻辑。

前向扩散定义了如何将结构化数据逐步转换为无结构的噪声状态，同时确保这一转换可以被逆向模型可靠地逆转。在DDPM框架中，这种转换是通过一系列控制的噪声添加步骤实现的。

在此流程中，需要准备输入数据和噪声，如果没有提供噪声，则生成与输入数据匹配的随机噪声。验证噪声的形状是否与输入数据一致，以确保两者可以正确合并。对输入数据应用一个系数以平滑处理，同时对噪声应用另一个系数以增加其随机性，这样做有助于更好地模拟数据的自然变异。将处理过的数据与处理过的噪声相加，输出最终的混合结果。

基于Transformer的编码解码层

模型使用了包含文本编码器和运动解码器的Transformer架构。此架构将文本描述映射到运动序列，其中涉及到多个组件和方法。

文本编码部分使用了CLIP模型的文本编码器来提取文本特征，然后通过一个Transformer编码器来进一步处理这些特征。这个文本编码器结构旨在为时间序列数据的处理提供丰富且相关的文本上下文信息。

该部分将输入的文本数据进行标记化处理，并将其传输到指定的计算设备（如CPU或GPU）上。对标记化后的文本应用词嵌入，以转换为数值形式，便于模型处理。添加位置嵌入，以引入文本中词汇的顺序信息。将嵌入的文本数据通过一个变换器（Transformer）模型进行处理，以捕捉文本中的上下文关系。应用最终的归一化层，进一步调整数据的尺度。对变换器的输出进行预处理，以准备进一步的编码处理。通过一个文本转换编码器进一步处理文本数据。应用一个投影层，选择性地提取特定的输出特征。对输出数据进行重排，以匹配后续处理的需求。