3D数字人技术解释

3D数字人交互流程实现

UE5介绍

UE5（Unreal Engine 5）是一款由Epic Games开的游戏引擎，它是UE4的后续版本。UE5于2021年5月首次发布，并在2022年正式发布。UE5引入了许多新功能和改进，以下是一些主要的介绍：

1. 光线追踪技术：UE5引入了Lumen和Nanite两项重要的光线追踪技术。Lumen是一种全局光照解决方案，可以实时计算光照效果，使场景更加真实。Nanite是一种虚幻引擎中的虚拟化几何技术，可以实现高度详细的三维模型渲染。

2. 更高的图形质量：UE5提供了更高质量的图形效果，包括更逼真的光照、阴影和材质效果。通过使用Lumen和Nanite技术，开发者可以创建出更加真实和细致的游戏世界。

3. 更快的迭代速度：UE5引入了一种名为“Quixel Bridge”的工具，它可以帮助开发者快速获取高质量的3D模型、材质和环境贴图。这样可以大大加快游戏开发的速度，同时提高了游戏的质量。

数字人是什么

简而言之，数字人类就是由计算机生成的3D版人类，你可以通过为其制作动画，模仿真实人类的动作和行为，只是这一切都发生在虚拟世界中。数字人类的风格可以是非写实的，也可以是逼真的；可以存在于互动体验中，也可以是离线渲染的动画；其运动可以由真人控制，也可以通过人工智能（AI）操控。仅从外观这一个角度来看，数字人类几乎与现实中的人类别无二致。

如何制作数字人

使用MetaHuman Creator

MetaHuman是一套完整的制作数字人的框架，所有人都可以使用它创造高度逼真的数字人类角色，为其制作动画，并随心所欲地使用这些角色

通过扫描或雕刻创建独特的数字人类

虽然您可以在 MetaHuman Creator 中创建大量不同的角色，但以当前扫描数据库的大小，不可能以实际相似为目标。但是，使用Mesh to MetaHuman （虚幻引擎 MetaHuman 插件的一项功能），您可以使用您使用扫描、雕刻或传统建模工具创建的自定义网格，并将其转换为 MetaHuman，完全装配并准备就绪动画。

如何在UE5中使用 MetaHuman

创建 MetaHuman 后，您可以通过 Quixel Bridge 将其直接下载到虚幻引擎项目中，该项目现已完全集成到 UE5（虚幻引擎 5）中。虚幻引擎是一套完整的创作工具，适用于游戏开发、建筑和汽车可视化、线性影视内容创作、广播和现场活动制作、培训和模拟以及其他实时应用。

口型驱动

Audio2Face

Aucio2Face是英伟达Omniverse平台的一部分，它使用先进的Al技术。 来生成基于音频输入的逼真面部动画。这个技术主要利用深度学习模型来解析人声，进而驱动一个三维模型的面部表情

Audio2Face是如何工作的

Omniverse Audio2Face 应用基于 NVIDIA Research 的原创论文。Audio2Face 预装了“数字标记”——一个 3D 角色模型，可以用您的音轨制作动画，因此入门很简单。只需选择您的音频并将其上传到应用程序中即可。该技术将音频输入输入到预先训练的深度神经网络中，网络的输出实时驱动角色的面部动画。用户可以选择编辑各种后处理参数以编辑角色的表演。然后，网络的输出驱动角色网格的 3D 顶点以创建面部动画。

预加载一个3D数字人物模型(Digital Mark),该模型可以通过音频驱动进行面部动画。

用户上传音频文件作为输入。

将音频输入馈送到预训练的深度神经网络中。

Audio2Face加载预制的3d人头mesh

3D数字人物面部模型由大量顶点组成,每个顶点都有xyz坐标。

深度神经网络输入音频特征,输出是这些顶点在每个时刻的（载预制的3d人头）位移量(delta x, delta y, delta z)。

将网络输出的顶点位移量应用到人物面部模型的原始顶点位置上,就可以得到每个时刻面部形状变化后的新顶点坐标。

这样预制的人头mesh就被声音信号驱动了。

Audio2Face是如何实现retarget的

Audio2Face就可以使用retarget技术将这些表情映射到目标角色上。它会自动分析源角色和目标角色的面部结构和特征，找出它们之间的对应关系，然后将源角色的面部表情映射到目标角色上。这样，目标角色就能够呈现出与源角色相同的面部表情。

需要注意的是，retarget技术的效果取决于源角色和目标角色之间的相似程度。如果它们之间的面部结构和特征差异较大，那么retarget后的效果可能会出现一些失真或不准确的情况。