该博客介绍了如何结合audio2face和UE5进行实时语音嘴型同步。首先详细阐述了audio2face的安装、配置及参数设置，包括修改配置文件和脚本来实现UDP数据发送。接着，讨论了UE5部分的操作，如开启插件、调整数字人蓝图和face_AnimBP。最后，提到了运行流程和所需pip安装的包，以及如何通过外部程序和百度文字转语音工具完成整个驱动流程。
audio2face部分
1.安装audio2face以及localserver
2.打开streamingplayer的demo场景
3.localhost/NVIDIA/Assets/Audio2face/blendshape_solve目录下找到male_bs_arkit.usd拖拽到场景
4.选中场景中的male_bs_arkit.usd将分页切换到A2F data convert分页
5.参数设置
6.设置参数后点击set up blendshape solve
7.通过ominiverse管理界面上的audio2face上的设置位置进入audio2face的安装位置
8. 修改audio2face安装目录下的exts\omni.audio2face.exporter\config目录下的extension.toml文件，最底部添加如下内容
[python.pipapi]
requirements=['python-osc']
use_online_index=true9.修改安装目录下exts\omni.audio2face.exporter\omni\audio2face\exporter\scripts目录下的facsSolver.py脚本
引用osc脚本
from py
最低0.47元/天 解锁文章
扫一扫
788
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
