实时智能应答3D数字人搭建2

崎山小鹿

已于 2024-04-13 13:43:43 修改

阅读量1.9k

点赞数 24

分类专栏：神经网络文章标签： 3d 神经网络人工智能深度学习数字人

于 2024-04-13 13:11:18 首次发布

本文链接：https://blog.csdn.net/selifecn/article/details/137713086

版权

神经网络专栏收录该内容

16 篇文章 2 订阅

订阅专栏

先看效果：

3d数字人讲黑洞

根据艾媒咨询数据，2021年，中国虚拟人核心产业规模达到62.2亿元，带动市场规模达到1074.9亿元；2025年，这一数据预计将达到480.6亿元与6402.7亿元，同比增长迅猛。
数字人可以用于：电子导游；电子解说员；虚拟老师；售前、售后客服；前台指引。

最终选择UE5作为模型的驱动引擎。主要有以下几点原因：首先UE5不像live2d那样，出来的是假三维的纸片人；其次，UE5里对现实世界的光照、材质、重量等物理属性都存在一一映射，可以非常全面地还原一个真实场景。这里提醒一下，在三维的世界里，有两条工具线：一个是引擎，用于驱动三维模型按照你的逻辑运作；一个是建模工具，比如maya。但通常这两类工具都会互相融合、相互交叉。

UE5虚拟数字人技术的核心是虚拟人物建模与动画技术。这种技术通过对真实人类的动作、表情、语音等基础数据进行大量采集，将这些数据导入到UE5中，配合UE5强大的引擎和工具集完成数字人物的建模、场景配置、动画制作等一系列工作，最终生成高度逼真的数字人物。

MetaHuman，是由Nvidia公司开发的一种数字人制作技术。metahuman说白了其实就是一个云端版本的ue,优点是集成了大量真人扫描的高精度组件，可以非常方便地调节出一个欧美真人。对，你无看错，是欧美的。官方的解释是，由于疫情原因，还未对亚洲人进行扫描。在虚拟主播这个案例上实际我们就是用metahuman的。

使用MetaHuman技术对数字人进行驱动。首先需要采集目标人物的动捕数据，然后使用这些数据对数字人模型进行驱动。在此过程中，还需要对数字人的表情、声音等进行实时捕捉和模拟。

Omniverse 和 Audio2Face 使用的 USD、JSON 格式与其他软件的可交互性强且易于解析，为数字人制作生产带来了显著的帮助。
这一次我们主要讲如何用虚幻5创造一个可以用facegood驱动的3D数字人

下载虚幻引擎5
下载虚幻5
创建一个metahuman数字人，并配置与Audio2face 的对接。

Audio2face 下载
要注册账号，先安装Omniverse，通过Omniverse安装Audio2face。对显卡的最低要求：GeForce RTX 3070 NVIDIA RTX A4000
NVIDIA 的 Audio2Face 是一套基于 AI 的技术，可生成全脸动作、情感和唇型同步，这些功能完全源自音频源，具有分析音频并自动制作情感动画的 Audio2Emotion 等功能。
全脸神经网络还可以为包括眼睛和舌头在内的所有面部特征进行动画处理。
角色设置功能允许用户在角色重定向过程中设置眼睛、牙齿和舌头，从而实现全脸角色转移。

1, Audio2face免安装版下载：链接：百度网盘请输入提取码提取码：76ki
2, 校正鼠标模拟点击位置程序：python clicktest.py

AudioToLipsyncServer
下载：音频转口型服务器 – 人宅学院
启动AudioToLipsyncServer

下载xuniren-vi
github:https://github.com/xiaobingchan/xuniren-v1
下载

安装阿里云语音合成SDK
详细：404错误页-阿里云帮助中心 ... .0.i0#0196f89028lk2
获取阿里云token：阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台

git clone https://github.com/aliyun/alibabacloud-nls-python-sdk/
cd alibabacloud-nls-python-sdk/
python -m pip install -r requirements.txt

修改 alitts.py
# 创建AcsClient实例
client = AcsClient(
"LTAI5tNTZy1HGw7nH1Rio1fg",
"22ltjZnzTjn6oVFuITDW0z93eIz7k7",
"cn-shanghai"
);
.....................
appKey = 'pAC8NSFL2DjQSWQr'

Error:SignatureDoesNotMatch Specified signature is not matched with our calculation. server string to sign
错误：SignatureDoesNotMatch 指定的签名与我们的计算不匹配。要签名的服务器字符串为

该错误常出现在用户没有使用官方的SDK来生成请求，而是自己手动计算签名构造网络请求进行发送时，签名的计算方式出现问题。

AccessKey ID：用于标识用户。
AccessKey Secret：用于验证用户的密钥。AccessKey Secret必须保密。
获取阿里云账号的AccessKey Secret
RAM用户的AccessKey Secret只在创建时显示，不支持查看，请妥善保管

安装文心一言SDK
文心一言

git clone https://github.com/PaddlePaddle/ERNIE-Bot-SDK
cd ERNIE-Bot-SDK
cd erniebot/
conda activate vits
pip install .

{'error_code': 17, 'error_msg': 'Open api daily request limit reached'}
{'error_code': 17, 'error_msg': '达到开放api每日请求限制'}

开通付费服务

安装ffmpeg
Builds - CODEX FFMPEG @ gyan.dev
测试命令：ffmpeg

测试讯飞，语音转文字（耳）