三维虚拟数字人实现技术路线（项目总结）

一、总体技术路线图

最终效果展示：

校园数字人移动端演示视频

二、各个部分详解

1、模型搭建

1.1、FBX模型

1.1.1、FBX模型面部bledshape制作

使用Faceit进行面部bledshape制作

1.1.2、其他问题

待完善

1.2、VRM模型

1.2.1、VRM模型导入到Unity中使用

（1）VRoidStudio制作模型导入到Unity中使用

1.2.2、VRM模型面部bledshape制作

（1）为VRoidStudio制作的vrm格式模型制作blendshape

1.2.3、其他问题

（1）解决VRM格式模型在Unity中运行出现头发乱飞等问题

2、数字人嘴型驱动

2.1、实时

2.1.1、使用Oculus Lipsync实现语音的嘴型同步

（1）BlendShape如何使用ARKit 52个基础Blendshape制作新的Blendshape
（2）Unity中使用Oculus Lipsync实现语音的嘴型同步
（3）Unity中Animator动画和角色面部Blendshape动画相冲突
（4）fbx模型导入Unity调整角色面部Blendshape出现黑斑问题解决

2.1.2、使用SALSA实现语音的嘴型同步

待完善

2.2、非实时

（1）SAiD
（2）Fast-3D-Talking-Face

3、数字人动作驱动

3.1、实时

这个部分主要通过自己制作合适的数字人手势动画，然后通过使用Unity中的状态机功能，通过使用条件映射，让数字人在不同的状态下执行相应的动作

3.2、非实时

（1）DiffSHEG

4、其余问题

（1）个性化音频生成GPT-SoVits部署使用和API调用
（2）Unity接入文心一言大模型
（3）Whisper（语音识别，语音转文本）本地部署