数字人解决方案——实时对话数字人源码与环境配置

前言

1.从技术角度来看，现在的数字人就是一个缝合怪，把各种技术点都整合在一起，用来实现直播、对话等数字人。技术流程大概如下图：

 其实最重要的一环应该属于LLM(大型语言模型)，LLM相当于一个人的意识，如果没有LLM,这一套完全没有深度。

2.数字人的呈现方式有现在基本上可以分为三种，2D、2.5D、3D这三种，2D是最常见的是用一段语音去驱动一张照片，2.5D比2D多一些肢体动作，3D是UE建模。

3.我这里部署的是2D实时对话的数字人，部署环境是win 10、cuda 11.7、cudnn 8.5、GPU是3060（6G显存）。

 4.精简版本和源码可以转到，对于新手来说，这个版本的源码可能更好的部署和理解：数字人解决方案——NeRF实现实时对话数字人环境配置与源码_知来者逆的博客-CSDN博客w

代码地址：https://download.csdn.net/download/matt45m/88078575?spm=1001.2014.3001.5503

2D实时对话数字人

因为这个项目本身就是一个缝合的项目，所以尽量使用Anaconda来创建环境，这样项目之间就不存在依赖互相干扰的问题。python使用python3.9或者3.10。

一.项目源码

缝合连接的源码可使用开源的Fay这个代码，这个代码里面有连接各种API和部署本地库的，源码地址：GitHub - TheRamU/Fay: Fay是一个完整的开源项目，包含Fay控制器及数字人模型，可灵活组合出不同的应用场景：虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her。 开源项目，非产品试用！！！Fay是一个完整的开源项目，包含Fay控制器及数字人模型，可灵活组合出不同的应用场景：虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her。 开源项目，非产品试用！！！ - GitHub - TheRamU/Fay: Fay是一个完整的开源项目，包含Fay控制器及数字人模型，可灵活组合出不同的应用场景：虚拟主播、现场推销货、商品导购、语音助理、远程语音助理、数字人互动、数字人面试官及心理测评、贾维斯、Her。 开源项目，非产品试用！！！https://github.com/TheRamU/Fay