EmoTalk3D: 3D 虚拟数字人头合成技术

 能够根据语音创建出可以表达不同情感的 3D 数字人头，保持口型同步，并支持从任何角度观看。

它由五个模块组成：

• 情感-内容分离编码器：这个模块负责从输入的语音中解析出内容特征和情感特征。
• 语音到几何网络（S2GNet）：该模块利用提取的特征来预测动态的 3D 点云，模拟面部的形状和运动。
• 高斯优化和完善模块：此模块用于优化和完善 3D 点云，以建立一个规范化的外观。
• 几何到外观网络（G2ANet）：基于动态 3D 点云合成面部的外观，可能包括纹理映射和颜色渲染。
• 渲染模块：最后，该模块将动态的高斯模型渲染成可以自由观看的动画。

从演示的效果来看不是特别自然，目前也只公开了论文，代码正在路上，数据集也没有正式发布。