ER-NeRF实时对话数字人模型训练与部署

已于 2024-03-19 11:13:27 修改
阅读量3.1k 收藏 27
点赞数 10
分类专栏： AI 文章标签： AI
于 2024-03-03 16:02:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/watson2017/article/details/136433057
版权

ER-NeRF是基于NeRF用于生成数字人的方法，可以达到实时生成的效果。

下载源码

cd D:\Projects\
git clone https://github.com/Fictionarry/ER-NeRF
cd D:\Projects\ER-NeRF

下载模型

准备面部解析模型

wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_parsing/79999_iter.pth?raw=true -O data_utils/face_parsing/79999_iter.pth

准备用于头部姿态估计的 3DMM 模型

wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/exp_info.npy?raw=true -O data_utils/face_tracking/3DMM/exp_info.npy
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/keys_info.npy?raw=true -O data_utils/face_tracking/3DMM/keys_info.npy
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/sub_mesh.obj?raw=true -O data_utils/face_tracking/3DMM/sub_mesh.obj
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/topology_info.npy?raw=true -O data_utils/face_tracking/3DMM/topology_info.npy

准备basel面部模型

在data_utils/face_tracking文件夹中新建文件夹3DMM

下载01_MorphableModel.mat

https://faces.dmi.unibas.ch/bfm/main.php?nav=1-2&id=downloadsicon-default.png?t=N7T8https://faces.dmi.unibas.ch/bfm/main.php?nav=1-2&id=downloads

勾选选项并填写资料，提交之后一封会发一封邮件到邮箱，包含下载地址及账号密码，输入正确后即可下载到tar的压缩文件，解压后将01_MorphableModel.mat放入项目中的 data_utils/face_tracking/3DMM 文件夹中

运行 convert_BFM.py

cd data_utils/face_tracking
python convert_BFM.py

准备语音特征提取模型

下载deepspeech-0_1_0-b90017e8.pb.zip，并将里面的deepspeech-0_1_0-b90017e8.pb解压出来，放入/root/.tensorflow/models下
Releases · osmr/deepspeech_features · GitHubRoutines for DeepSpeech features processing. Contribute to osmr/deepspeech_features development by creating an account on GitHub.icon-default.png?t=N7T8https://github.com/osmr/deepspeech_features/releases

cp deepspeech-0_1_0-b90017e8.pb /root/.tensorflow/models

部署项目

Docker部署

拉取cuda116镜像
docker pull nvcr.io/nvidia/cuda:11.6.1-cudnn8-devel-ubuntu20.04
创建容器
docker run --gpus all  -it --name ernerf -v D:\Projects\ER-NeRF:/ernerf nvcr.io/nvidia/cuda:11.6.1-cudnn8-devel-ubuntu20.04
安装依赖环境
apt-get update -yq --fix-missing \
 && DEBIAN_FRONTEND=noninteractive apt-get install -yq --no-install-recommends \
    pkg-config \
    wget \
    cmake \
    curl \
    git \
    vim

# 对于Ubuntu，pyaudio需要portaudio的支持才能正常工作。
apt install portaudio19-dev
安装Miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh -b -u -p ~/miniconda3
~/miniconda3/bin/conda init
source ~/.bashrc
创建Conda环境
conda create -n ernerf python=3.10
conda activate ernerf
安装依赖库
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
pip install -r requirements.txt

conda install pytorch==1.12.1 torchvision==0.13.1 cudatoolkit=11.3 -c pytorch
conda install -c fvcore -c iopath -c conda-forge fvcore iopath
conda install pytorch3d==0.7.4 -c pytorch3d -c pytorch -c conda-forge
conda install ffmpeg
pip install tensorflow-gpu==2.8.0
pip install numpy==1.22.4
pip install opencv-python-headless
pip install protobuf==3.20.0

Windows部署

 创建Conda环境
conda create -n ernerf python=3.10
conda activate ernerf
安装cudatoolkit

下载地址：
https://developer.nvidia.com/cuda-toolkit-archiveicon-default.png?t=N7T8https://developer.nvidia.com/cuda-toolkit-archive注意版本对应关系，选择下载11.8。

安装完成，使用下面命令查看：

nvcc -V
安装cuDNN

下载地址：

https://developer.nvidia.com/rdp/cudnn-downloadicon-default.png?t=N7T8https://developer.nvidia.com/rdp/cudnn-download

选择“Download cuDNN v8.9.7 (December 5th, 2023), for CUDA 11.x”->“Local Installer for Windows (Zip)”。

然后将解压后的文件放入cuda路径下

  • lib里的文件放到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib
  • bin里的文件放到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin
  • include 里的文件放到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\include
安装gcc

下载地址：
https://sourceforge.net/projects/mingw-w64/files/mingw-w64/mingw-w64-release/icon-default.png?t=N7T8https://sourceforge.net/projects/mingw-w64/files/mingw-w64/mingw-w64-release/选择“MinGW-W64 GCC-8.1.0”->“x86_64-posix-seh”。

解压后把bin配置到环境变量path。

安装依赖库
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia
pip install -r requirements.txt
pip install tensorflow-gpu==2.8.0
pip install protobuf==3.20.0
安装pytorch3d

下载0.7.4版本

https://github.com/facebookresearch/pytorch3d/releases/tag/v0.7.4icon-default.png?t=N7T8https://github.com/facebookresearch/pytorch3d/releases/tag/v0.7.4解压后执行安装命令

cd pytorch3d
python setup.py install
安装子模块
pip install ./raymarching
pip install ./gridencoder
pip install ./freqencoder
pip install ./shencoder

数据预处理

视频预处理

将视频放在 data/<ID>/<ID>.mp4 路径下

视频必须为 25FPS，所有帧都包含说话的人。 分辨率应约为 512x512，持续时间约为 1-5 分钟。

运行脚本以处理视频

python data_utils/process.py data/<ID>/<ID>.mp4

分布处理视频

python data_utils/process.py data/<ID>/<ID>.mp4 --task x
  • --task 1  #分离音频
  • --task 2  #生成aud_eo.npy
  • --task 3  #把视频拆分成图像
  • --task 4  #分割人像
  • --task 5  #提取背景图像
  • --task 6 #分割出身体部分
  • --task 7 #获取人脸landmarks lms文件 
  • --task 8 #获取人脸跟踪数据，这步要训练一个追踪模型，会很慢
  • --task 9 #保存所有数据

音频预处理

在训练和测试时可以指定音频功能的类型。

  • --asr <deepspeech, wav2vec>，默认值为deepspeech
python data_utils/process.py data/<ID>/<ID>.mp4 --asr wav2vec

相当于单独调用了下面的指令进行处理

DeepSpeech

python data_utils/deepspeech_features/extract_ds_features.py --input data/<name>.wav
# save to data/<name>.npy

Wav2Vec

python data_utils/wav2vec.py --wav data/<name>.wav --save_feats
# save to data/<name>_eo.npy

准备眨眼数据

下载OpenFace

https://github.com/TadasBaltrusaitis/OpenFace/wiki/Windows-Installationicon-default.png?t=N7T8https://github.com/TadasBaltrusaitis/OpenFace/wiki/Windows-Installation下载解压后，文件夹里面有个OpenFaceOffline.exe，启动GUI界面。

下载模型

以管理员身份打开PowerShell 输入：

set-executionpolicy remotesigned

选择Y 然后电脑上就可以执行自己编写的脚本文件。 

在OpenFaceOffline.exe的同级文件夹下有一个叫download_models.ps1的文件，选中download_models.ps1文件，右击鼠标选择“使用PowerShell运行”，能够自动下载模型。

生成眨眼数据

勾选OpenFaceOffline->Record->Record AUs，选择视频，最终文件会在processed文件夹。

将文件复制到ernerf/data/obama目录，重新命名成au.csv，把原本的aud.npy重新命名成aud_ds.npy。

模型训练

首次运行需要一些时间来编译 CUDA 扩展。

# 头部训练
python main.py data/obama/ --workspace trial_obama/ -O --iters 100000

# 微调嘴型动作
python main.py data/obama/ --workspace trial_obama/ -O --iters 125000 --finetune_lips --patch_size 32

# 身体训练
# 导入上一步生成的头部模型，模型路径和名称按自己环境生成的结果
python main.py data/obama/ --workspace trial_obama_torso/ -O --torso --head_ckpt <head>.pth --iters 200000

 如果asr使用wav2vec进行模型训练，可以加上--asr_model参数

# 头部训练
python main.py data/obama/ --workspace trial_obama/ -O --iters 100000 --asr_model cpierse/wav2vec2-large-xlsr-53-esperanto

# 微调嘴型动作
python main.py data/obama/ --workspace trial_obama/ -O --iters 125000 --finetune_lips --patch_size 32 --asr_model cpierse/wav2vec2-large-xlsr-53-esperanto

# 身体训练
# 导入上一步生成的头部模型，模型路径和名称按自己环境生成的结果
python main.py data/obama/ --workspace trial_obama_torso/ -O --torso --head_ckpt trial_obama/checkpoints/ngp_ep0078.pth --iters 200000 --asr_model cpierse/wav2vec2-large-xlsr-53-esperanto

模型推理

将所需要音频进行处理，同上预处理一方法相同，假设想要数字人说话的音频为aud.wav。

python nerf/asr.py --wav data/obama/aud.wav --save_feats

生成aud_eo.npy文件于data/obama中，生成完毕后，即可进行推理：

# 使用特定音频和姿势序列进行测试
# --test_train：使用训练集进行测试
# --data_range：使用此范围的姿势和眼睛序列（如果比音频短，会自动镜像和重复）
python main.py data/obama/ --workspace trial_obama_torso/ -O --torso --test --test_train --data_range 0 100 --aud data/obama/aud_eo.npy

推理完毕的视频存于trial_obama_torso/results中。

报错处理

报错：

This caused an overflow, meaning output may be incomplete. To solve, try increasing max_faces_per_bin / max_points_per_bin, decreasing bin_size, or setting bin_size to 0 to use the naive rasterization.Bin size was too small in the coarse rasterization phase.

解决方案：

修改data_utils\face_tracking\render_3dmm.py
在raster_settings中添加bin_size = 0

raster_settings = RasterizationSettings(
    image_size=(self.img_h, self.img_w),
    blur_radius=np.log(1.0 / 1e-4 - 1.0) * sigma / 18.0,
    faces_per_pixel=2,
    perspective_correct=False,
    bin_size = 0,
)

报错：

ValueError: Found array with 0 sample(s) (shape=(0, 2)) while a minimum of 1 is required by NearestNeighbors.

解决方案：

检查data/obama/parsing 这个文件夹下的图片有没有空白的，如果有需要重新裁剪视频。

培根芝士
关注
  • 10
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
目前全球生成数字人有哪些开源的项目？
iCloudEnd的博客
03-09 1万+
OpenAvatar是一个开源的数字人形象框架，能够帮助用户创建和部署高度可定制的数字人和虚拟形象。其目标是通过提供一组标准接口和现成的实现，使得开发人员能够快速轻松地构建出具有不同形态和功能特性的数字人。OpenAvatar的主要特点包括：多样性：OpenAvatar不仅支持不同的机器人和虚拟人物形象，还能够根据用户需求和场景需求，支持自定义形象和特征的创建。实时表达：OpenAvatar能够让数字人物产生更直观、自然、丰富的动作表达，向游戏、虚拟现实软件及社交媒体的开发提供更多实时表达特性的支持。
实时对话数字人解决方案实现源码
07-22
​ 1.这是一个能实时对话的虚拟数字人demo,使用的是NeRF（Neural Radiance Fields 2.文本转语音是用了VITS语音合成 3.语言模型是用了新开源的ChatGLM2-6B，当前的项目暂时没有加上这个接口 4.声音克隆用的是PaddleSpeech，这个语音克隆训练起来很快，使用的数据集也相对少一些，当前的项目暂时没有加上语音克隆。 ​
数字人解决方案——ER-NeRF实时对话数字人模型训练与项目部署
热门推荐
知来者逆的博客
10-11 1万+
ER-NeRF是基于NeRF用于生成数字人的方法，可以达到实时生成的效果。具体来说，为了提高动态头部重建的准确性，ER-NeRF引入了一种紧凑且表达丰富的基于NeRF的三平面哈希表示法，通过三个平面哈希编码器剪枝空的空间区域。对于语音音频，ER-NeRF提出了一个区域关注模块，通过注意机制生成区域感知的条件特征。与现有方法不同，它们使用基于MLP的编码器隐式学习跨模态关系不同，注意机制建立了音频特征和空间区域之间的明确连接，以捕获本地动作的先验知识。
盘点目前有关数字人的开源项目
最新发布
debug_ding的博客
07-15 2610
本文将对一些目前较为热门的数字人生成相关开源项目进行分类整理和总结，以供广大开发者和研究人员参考。
优质项目-基于神经辐射场NeRF实现的实时流数字人-附项目源码+详细流程教程.zip
06-01
优质项目_基于神经辐射场NeRF实现的实时流数字人_附项目源码+详细流程教程
给数字人生成加上界面，基于ER-NeRF/RAD-NeRF/AD-NeRF，Gradio框架构建WEBUI，使用HLS流媒体，实现边推理边播放——之一：在WEBUI中实时输出服务器控制台日志
解牛
10-23 4765
给数字人生成加上界面，基于ER-NeRF/RAD-NeRF/AD-NeRF，Gradio框架构建WEBUI，使用HLS流媒体，实现边推理边播放——之一：在WEBUI中实时输出服务器控制台日志
数字人er-nerf安装
蓝天白云
12-13 2834
最近安装er-nerf，安装了很久，各种报错，我都快疯了，好不容易本地电脑安装成功，去服务器又不成功。故记录下，本次服务器安装详情步骤。组合：python:3.9 - portch:11.8 -- 失败python:3.10 - portch:11.8 --成功python:3.10 - portch:11.7 --成功python:3.10 - portch:12.1 --失败。
数字人项目 ER-NeRF 的使用和部署详细教程
iioSnail的博客
04-11 4207
ER-NeRF（官方链接）是一个（对嘴型）项目。即：给一段某人说话的视频，再给定一段音频，经过该模型后处理后，可将原视频的嘴型与音频保持一致。可以做到实时响应。即模型比较小，处理速度快。需要对“要对嘴型的视频”进行训练。也就是每段视频对应一个模型生成出的头部不够稳定。
xuniren（Fay数字人开源社区项目）NeRF模型训练教程
06-09 1万+
RAD-NeRF/data/<trial_ID>/<trial_ID_torso>/checkpoints/<ngp_ep0043.pth>替换/xuniren/data/pretrained/ngp_kf.pth。从https://faces.dmi.unibas.ch/bfm/main.php?transforms_train.json替换/xuniren/data/kf.json。（用V100或者3090，视频大于4分钟，训练效果不太理想，3分钟左右会比较合适。1.头部训练（不建议增加太多）
ER-NeRF
whaosoft143ai的博客
07-23 732
本文提出一种新的基于 condition NeRF 的 talking portrait 合成框架 ER-NeRF，可以在较小的参数量下实现高精度的实时渲染和快速收敛。我们的想法是显示利用空间区域的不平等贡献来指导谈话肖像建模。具体而言，为了提高动态头部重建的准确性，通过使用三个2D哈希编码器修剪空间区域，我们引入了一种紧凑且富有表现力的基于NeRF的三平面哈希表示。对于语音音频，我们提出了一个区域注意模块，通过区域注意力机制生成区域感知条件特征。whaosoft aiot http://143ai.com
NeRF-pytorch预训练模型
11-07
**压缩包子文件的文件名称列表：** "NeRF-pytorch-pretrained-models" 这个文件名暗示了压缩包内包含的是与NeRF-pytorch相关的预训练模型，可能有多个不同的模型，每个模型对应不同的场景或训练设置，用户可以根据...
ER-NeRF三维重建论文
05-04
**应用场景**包括但不限于数字人技术、虚拟形象创建、电影制作等。随着人工智能技术的发展，特别是计算机视觉和深度学习的进步，这种技术的应用范围正不断扩大。 #### 二、关键技术点详解 ##### 1. **Tri-Plane ...
point-nerf复现代码
05-30
point-nerf复现代码，github上提供的源码比较乱，而且在复现的时候一直出现bug，于是在测试point-nerf时将里面的代码进行了更改。在源码的基础上，将nerf_synth360_ft_dataset.py；evaluate.py；test_ft.py；...
数字人解决方案——ER-NeRF实时对话数字人模型推理部署带UI交互界面
知来者逆的博客
12-21 8050
这个是一个使用ER-NeRF来实现实时对话数字人、口播数字人的整体架构，其中包括了大语言回答模型、语音合成、成生视频流、背景替换等功能，项目对显存的要求很高，想要达到实时推理的效果，建议显存在24G以上。
数字人解决方案——RAD-NeRF实现实时对话数字人环境配置与源码
知来者逆的博客
07-22 1万+
基于NeRF和VITS的实时对话数字人，可以数字主播，问询数字人。
探索未来虚拟现实：ER-NeRF，新一代神经辐射场渲染技术
gitblog_00071的博客
04-14 444
探索未来虚拟现实：ER-NeRF，新一代神经辐射场渲染技术 项目地址:https://gitcode.com/Fictionarry/ER-NeRF 在这个链接中，我们发现了一个令人兴奋的开源项目——ER-NeRF，它代表了神经辐射场（Neural Radiance Fields）在实时三维重建和虚拟现实应用上的新突破。本文将深入探讨该项目的核心技术、应用场景以及其独特之处，帮助更多的技术爱好者理...
er-nerf 数字人解决方案 虚拟人解决方案
changelim的博客
11-20 584
er-nerf 数字人
实时语音交互数字人解决方案，满足不同场景需求
美摄科技
06-05 347
美摄科技实时语音交互数字人解决方案，以先进的人工智能和机器学习技术为基础，实现了文字与语音之间的无缝转换。此外，该方案还具有良好的开放性和扩展性，可以轻松与各种主流的AI聊天系统、语音系统进行集成，形成更加完善、高效的解决方案。从外观、声音到动作，都能完美展现企业的独特魅力。这种定制化的服务，不仅让数字人成为企业品牌形象和文化的有力传播者，更在激烈的市场竞争中为企业赢得了独特的竞争优势。美摄科技实时语音交互数字人解决方案以其领先的技术、个性化的定制服务、高效的沟通方式和广泛的应用场景赢得了众多企业的青睐。
er-nerf实时对话数字人模型训练与项目部署
11-24
er-nerf是一种用于实时对话数字人模型训练与项目部署的技术。它能够在不同领域应用，例如客服机器人、智能助手等，为用户提供更好的交互体验。在数字人模型训练方面，er-nerf具有高效的训练速度和准确的识别能力。它可以自动学习用户的语言习惯和需求，不断优化模型，提升对话质量。在项目部署方面，er-nerf能够快速集成到现有的系统中，实现即插即用的功能。同时，它还支持多渠道对接，比如语音、文字等，为用户提供更加便捷和多样化的沟通途径。er-nerf采用先进的深度学习算法，能够在不断的对话中不断提升模型的智能水平，使得数字人在交互中能够更加真实且贴近于人类的交流方式。总的来说，er-nerf实时对话数字人模型训练与项目部署技术为数字人应用领域带来了新的发展机遇，为用户提供更加便捷、智能的服务体验。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值