我的GeneFace++部署与运行之旅

最新推荐文章于 2024-08-22 08:44:24 发布
最新推荐文章于 2024-08-22 08:44:24 发布
阅读量1.4k 收藏 11
点赞数 11
分类专栏： AIGC 专栏 文章标签： AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010201484/article/details/140379482
版权

文章目录

引言

在这个数字化时代，虚拟与现实的界限逐渐模糊，数字人技术以其独特的魅力和广泛应用前景，成为创新与探索的前沿领域。我有幸在个人兴趣与职业发展的双重驱动下，深入这一领域，探索其无限可能。

个人与职业的交汇点：

我的数字人之旅始于对人工智能和计算机图形学的深厚兴趣。而公司对这一新兴技术的战略布局，为我提供了一个实践和研究的绝佳平台。公司期望我能够深入探讨数字人技术，以期在未来的市场竞争中占据有利地位。

选择GeneFace++：

在众多数字人项目中，GeneFace++以其卓越的嘴型同步技术、逼真的视频生成效果和高效的系统性能脱颖而出。它不仅满足了我对技术深度的追求，也符合公司对创新应用的期待。

博客：知识的沉淀与分享：

撰写这篇博客的初衷，是希望将我在部署GeneFace++项目过程中的所学所感，沉淀成文，为自我成长留下印记。同时，我更希望能够将这份知识的力量传递给每一位对此领域抱有热情的网友。

共同成长的愿景：

我相信，通过分享我的经验和见解，可以激发更多人对数字人技术的兴趣，促进知识的交流与思想的碰撞。我期待与志同道合的朋友们一起，在这个充满挑战与机遇的领域中共同成长，探索未知。

结语：

让我们一起启程，穿梭于虚拟与现实之间，用代码编织梦想，用技术点亮未来。我诚邀您加入这场数字人的探索之旅，共同见证和创造这一领域的辉煌。

项目背景

概述

名称： GeneFace++
技术基础： 基于PyTorch的深度学习框架
核心功能： 实现实时音频驱动的3D面部动画合成
github地址： https://github.com/yerfor/GeneFacePlusPlus/tree/main

GeneFace++项目通过先进的人工智能技术，实现了一种高效、逼真的虚拟人视频合成方法。它能够根据输入的音频信号，自动生成与语音同步的嘴型和面部表情，为虚拟角色赋予更加自然和生动的表现力。

重要性分析

  • 技术先进性： GeneFace++采用了最新的深度学习算法，能够处理复杂的面部动作和表情，提供高质量的视频合成结果。
  • 开源社区支持： 作为一个开源项目，GeneFace++得到了广泛的社区支持，不断有新的功能和改进被添加到项目中。
  • 应用广泛性： 它在电影制作、游戏开发、虚拟现实、社交媒体、教育培训等多个领域都有潜在的应用价值。
  • 创新推动力： GeneFace++推动了虚拟人技术的创新，为数字娱乐和人机交互开辟了新的可能性。
  • 教育和研究价值： 该项目为学术界和教育界提供了一个实践深度学习和计算机视觉技术的平台。
  • 个性化定制： 用户可以根据自己的需求对GeneFace++进行定制和扩展，创造出独特的虚拟角色。

结论

GeneFace++项目在虚拟人视频合成领域的重要性不言而喻。它不仅提供了一种高效、逼真的视频合成解决方案，还促进了相关技术的普及和创新。随着技术的不断发展和社区的积极参与，GeneFace++有望在未来的虚拟人技术领域发挥更大的作用，为用户带来更加丰富和多样化的交互体验。

环境准备

文档链接：GeneFace++ 安装指南
部署的主机信息：

  • 火山引擎云主机：GPU计算型g1vc |ecs.g1vc.xlarge |6vCPU |26GiB|V100，ubuntu22.04

1. 安装CUDA

  • CUDA版本：推荐安装CUDA 11.7，项目已在A100/V100 GPU上进行验证。
  • CUDA路径：确保CUDA路径指向正确版本，例如 /usr/local/cuda-11.7。
  • 兼容性：不支持CUDA 12或更高版本。
# cuda 版本可以在这里查看 https://developer.nvidia.com/cuda-toolkit-archive
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.0-1_all.deb
sudo dpkg -i cuda-keyring*.deb
sudo apt-get update
sudo apt-get -y install cuda=11.7.1-1
# 查看安装是否成功
ls /usr/local | grep cuda

2. 安装Python依赖

  • 安装conda
  • 创建 Python3.9 环境：conda create -n geneface python=3.9
  • 环境激活：使用Conda创建名为geneface的新环境，并激活该环境。
  • FFmpeg安装：安装带有libx264编解码器的FFmpeg，用于将图像转换为视频。
  • PyTorch安装：推荐安装PyTorch 2.0.1与CUDA 11.7，避免使用2.1以上版本以防止torch-ngp错误。
  • PyTorch3D安装：从源代码安装PyTorch3D，可能需要较长时间。
  • MMCV安装：安装Cython和OpenMIM，然后使用mim安装MMCV。
  • 其他依赖：安装音频相关的库和项目所需的其他Python包。
# 安装 conda
wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh
chmod +x Anaconda3-2024.02-1-Linux-x86_64.sh
./Anaconda3-2024.02-1-Linux-x86_64.sh
# 拉取项目 apt install git
git clone https://github.com/yerfor/GeneFacePlusPlus.git 
# 进入 Python3.9 的环境 
cd <GeneFaceRoot>
source <CondaRoot>/bin/activate
conda create -n geneface python=3.9
conda activate geneface
# FFmpeg安装
conda install conda-forge::ffmpeg # ffmpeg with libx264 codec to turn images to video

# 我们推荐安装torch2.0.1+cuda11.7. 已经发现 torch=2.1+cuda12.1 会导致 torch-ngp 错误
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia

# 从源代码安装，需要比较长的时间 (如果遇到各种time-out问题，建议使用代理)
pip install "git+https://github.com/facebookresearch/pytorch3d.git@stable"

# MMCV安装
pip install cython
pip install openmim==0.3.9
mim install mmcv==2.1.0 # 使用mim来加速mmcv安装

# 其他依赖项
sudo apt-get install libasound2-dev portaudio19-dev
pip install -r docs/prepare_env/requirements.txt -v

# 构建torch-ngp
bash docs/prepare_env/install_ext.sh

3. 准备3DMM模型（BFM2009）及其他数据

你可以从这里下载或 。 解压缩后, BFM 文件夹中将包含8个文件。 移动这些文件到 /deep_3drecon/BFM/。该文件夹结构应该如下：

  • 模型下载：从提供的 Google Drive 或BaiduYun Disk (密码 r8ux)下载BFM2009模型。
  • 文件放置：将下载并解压的文件移动到<GeneFaceRoot>/deep_3drecon/BFM/目录下。
    文件夹结构示例
deep_3drecon/BFM/
├── 01_MorphableModel.mat
├── BFM_exp_idx.mat
├── BFM_front_idx.mat
├── BFM_model_front.mat
├── Exp_Pca.bin
├── facemodel_info.mat
├── index_mp468_from_mesh35709.npy
├── mediapipe_in_bfm53201.npy
└── std_exp.txt

以上是结合自身部署过程和官方教程进行整理的，如出现问题请先查阅 github 的教程

运行官方 Demo

GeneFace++ github 教程

  • 步骤1：下载预处理好的May的数据集 trainval_dataset.npy (Google Drive 或 BaiduYun Disk 提取码: 98n4), 放置在data/binary/videos/May/trainval_dataset.npy路径下。
  • 步骤2：下载预训练好的通用的audio-to-motino模型 audio2motion_vae.zip (Google Drive 或 BaiduYun Disk 提取码: 98n4) 和专用于May的motion-to-video模型 motion2video_nerf.zip (Google Drive 或 BaiduYun Disk 提取码: 98n4), 解压到./checkpoints/目录下。
  • 步骤3：激活geneface的Python环境
cd <GeneFaceRoot>
conda activate geneface
export PYTHONPATH=./
  • 步骤4: 然后执行:
python inference/genefacepp_infer.py --a2m_ckpt=checkpoints/audio2motion_vae --head_ckpt= --torso_ckpt=checkpoints/motion2video_nerf/may_torso --drv_aud=data/raw/val_wavs/MacronSpeech.wav --out_name=may_demo.mp4
  • 或者可以使用我们提供的Gradio WebUI:
python inference/app_genefacepp.py --a2m_ckpt=checkpoints/audio2motion_vae --head_ckpt= --torso_ckpt=checkpoints/motion2video_nerf/may_torso

Gradio WebUI

使用官方自带的音频文件生成的视频
[视频待审核]
使用自己上传的音频文件生成的视频
[视频待审核]

训练自己的视频

数据准备

准备一个视频（头部无遮挡、晃动不要过大），视频分辨率不要小于 512X512，将视频放置到 /data/raw/videos/ 目录下

步骤 0 将视频Crop到512x512分辨率，25FPS，确保每一帧都有目标人脸

cd <GeneFaceRoot>
# VIDIO_ID 为视频的名称，最好是英文且简单明了
export VIDEO_ID=
# crop=512:512:284:224，  284,224 为视频 Crop 开始裁剪的起始位置，具体需要根据视频中人脸的位置进行调整
ffmpeg -i data/raw/videos/${VIDEO_ID}.mp4 -filter:v "fps=25,crop=512:512:284:224" -qmin 1 -q:v 1 data/raw/videos/${VIDEO_ID}_512.mp4
mv data/raw/videos/${VIDEO_ID}.mp4 data/raw/videos/${VIDEO_ID}_to_rm.mp4
mv data/raw/videos/${VIDEO_ID}_512.mp4 data/raw/videos/${VIDEO_ID}.mp4

步骤1: 提取音频特征, 如mel, f0, hubuert

export CUDA_VISIBLE_DEVICES=0
export PYTHONPATH=./
export VIDEO_ID=
# 新建视频处理文件存放位置
mkdir -p data/processed/videos/${VIDEO_ID}
# 将视频中的音频提取出来
ffmpeg -i data/raw/videos/${VIDEO_ID}.mp4 -f wav -ar 16000 data/processed/videos/${VIDEO_ID}/aud.wav 
# 生成 aud_hubert.np 文件
python data_gen/utils/process_audio/extract_hubert.py --video_id=${VIDEO_ID}
# 生成 aud_mel_f0.npy 文件
python data_gen/utils/process_audio/extract_mel_f0.py --video_id=${VIDEO_ID}

步骤2. 提取图片

export PYTHONPATH=./
export VIDEO_ID=
export CUDA_VISIBLE_DEVICES=0
# 创建图片提取目录
mkdir -p data/processed/videos/${VIDEO_ID}/gt_imgs
# 提取图片并保存至 ${VIDEO_ID}/gt_imgs 中
ffmpeg -i data/raw/videos/${VIDEO_ID}.mp4 -vf fps=25,scale=w=512:h=512 -qmin 1 -q:v 1 -start_number 0 data/processed/videos/${VIDEO_ID}/gt_imgs/%08d.jpg
# 提取图片中的元素，生成 bg_imgs  com_imgs inpaint_torso_imgs  person_imgs  torso_imgs bg.jpg head_imgs segmaps 文件
# 若运行是出现卡主了，就使用单线程执行，再命令后面加 --force_single_process 参数
python data_gen/utils/process_video/extract_segment_imgs.py --ds_name=nerf --vid_dir=data/raw/videos/${VIDEO_ID}.mp4

步骤3. 提取lm2d_mediapipe, Fit 3DMM

export PYTHONPATH=./
export VIDEO_ID=
# 生成 lms_2d.npy 文件, data/processed/videos/${VIDEO_ID}/lms_2d.npy
python data_gen/utils/process_video/extract_lm2d.py --ds_name=nerf --vid_dir=data/raw/videos/${VIDEO_ID}.mp4
# 生成 debug_fit_3dmm.mp4 文件, data/processed/videos/${VIDEO_ID}/debug_fit_3dmm.mp4
python data_gen/utils/process_video/fit_3dmm_landmark.py --ds_name=nerf --vid_dir=data/raw/videos/${VIDEO_ID}.mp4 --reset  --debug --id_mode=global

步骤4. Binarize（将数据打包）

export PYTHONPATH=./
export VIDEO_ID=
python data_gen/runs/binarizer_nerf.py --video_id=${VIDEO_ID}

训练

步骤1. 获取Audio2Motion模型
你可以从Google Drive 或 BaiduYun Disk (密码 9cqp) 下载预训练的Audio2Motion模型，并将模型放在 checkpoints/audio2motion_vae里。
理论在在运行 Demo 时就已经下载了

步骤2. 复制训练配置

cp -r egs/datasets/May egs/datasets/${VIDEO_ID}
# 检查配置文件，并将配置文件中的 video_id 替换成 ${VIDEO_ID}，配置文件的中出现的目录路径也替换成 ${VIDEO_ID} 的目录

在这里插入图片描述

步骤3. Train Motion2Video Renderer

# 数据主备完成后会产生数据集： data/binary/videos/${VIDEO_ID}/trainval_dataset.npy 
# 训练 Head NeRF 模型
# 模型与tensorboard会被保存在 `checkpoints/<exp_name>`
CUDA_VISIBLE_DEVICES=0 python tasks/run.py --config=egs/datasets/${VIDEO_ID}/lm3d_radnerf_sr.yaml --exp_name=motion2video_nerf/${VIDEO_ID}_head --reset

# 训练 Torso NeRF 模型
CUDA_VISIBLE_DEVICES=0 python tasks/run.py --config=egs/datasets/${VIDEO_ID}/lm3d_radnerf_torso_sr.yaml --exp_name=motion2video_nerf/${VIDEO_ID}_torso --hparams=head_model_dir=checkpoints/motion2video_nerf/${VIDEO_ID}_head --reset

推理测试

CUDA_VISIBLE_DEVICES=0 python inference/app_genefacepp.py --a2m_ckpt=checkpoints/audio2motion_vae --head_ckpt= --torso_ckpt=motion2video_nerf/${VIDEO_ID}_torso

遇到的问题与解决方案

问题一：cuda 安装完发现版本不对

原因：若不指定 cuda 安装版本默认会安装最新版本，此时需要卸载 cuda 后，指定版本重新安装

apt-get --purge remove cuda
apt-get -y install cuda=11.7.1-1

问题二：Data Preprocessing Error | bg.jpg not found

https://github.com/yerfor/GeneFacePlusPlus/issues/189
大概率是提取图片步骤没有执行成功（程序卡住或者报错了）

# 重跑
python data_gen/utils/process_video/extract_segment_imgs.py --ds_name=nerf --vid_dir=data/raw/videos/${VIDEO_ID}.mp4 --force_single_process

问题三：运行较长语音时，程序被 kill

大概率是内存爆了，试试勾选低内存模式
在这里插入图片描述

问题四：视频人物的眼睛没睁开

https://github.com/yerfor/GeneFacePlusPlus/issues/47

修改配置文件中的 eye_blink_dim 为 4

  • /egs/datasets/${VEDIO_ID}/lm3d_radnerf_torso.yaml
  • /egs/datasets/${VEDIO_ID}/lm3d_radnerf_sr.yaml

问题五：RuntimeError: Error(s) in loading state_dict for RADNeRFTorsowithSR

https://github.com/yerfor/GeneFacePlusPlus/issues/129

raise RuntimeError('Error(s) in loading state_dict for {}:\n\t{}'.format(
RuntimeError: Error(s) in loading state_dict for RADNeRFTorsowithSR:
size mismatch for blink_encoder.1.weight: copying a param with shape torch.Size([8, 32]) from checkpoint, the shape in current model is torch.Size([2, 32]).
size mismatch for blink_encoder.1.bias: copying a param with shape torch.Size([8]) from checkpoint, the shape in current model is torch.Size([2]).
Done

检查配置文件，参数是否一致，比如 eye_blink_dim 参数

  • /egs/datasets/${VEDIO_ID}/lm3d_radnerf_torso.yaml
  • /egs/datasets/${VEDIO_ID}/lm3d_radnerf_sr.yaml

知识点

知识点一：HuBERT

HuBERT（Hidden Unit BERT）是一种用于语音信号处理的预训练算法，它是由Facebook AI Research（FAIR）团队开发的一种自监督学习模型。HuBERT基于BERT（Bidirectional Encoder Representations from Transformers）模型，但针对音频数据进行了优化。以下是HuBERT的一些关键特点和优势：

基本概念
  • 自监督学习：HuBERT不需要标注数据，而是通过预测音频中的隐藏单元来学习语音表示。
  • 基于Transformer：HuBERT使用Transformer架构，这是NLP领域中非常成功的模型架构，通过自注意力机制来处理序列数据。
技术细节
  1. 波形编码：HuBERT将原始音频波形编码成一系列特征表示，这些特征随后被送入Transformer模型。
  2. 上下文预测：模型通过预测给定上下文中的隐藏单元来学习音频的表示，这有助于捕捉语音的语义信息。
  3. 双向表示：与BERT类似，HuBERT生成的是上下文相关的双向表示，这有助于更好地理解语音信号。
应用领域
  • 语音识别：HuBERT可以用于自动语音识别（ASR），提供高质量的语音到文本的转换。
  • 说话人识别：HuBERT的表示可以用于区分不同的说话人，适用于安全认证和个性化服务。
  • 情感分析：通过分析语音信号的情感内容，HuBERT可以用于情感识别和分析。
  • 语音合成：HuBERT的语音表示可以用于生成逼真的合成语音。
优势
  • 高效率：HuBERT能够快速学习语音的复杂特征，提供高效的训练和推理速度。
  • 泛化能力：由于自监督学习的特性，HuBERT具有良好的泛化能力，可以适应不同的语音数据和任务。
  • 端到端学习：HuBERT可以端到端地学习语音表示，无需复杂的特征工程。
研究进展

HuBERT自推出以来，已经在多个语音处理任务中取得了显著的成果，成为语音研究和工业应用中的一个有前景的方向。随着技术的不断发展，HuBERT及其变体可能会在未来的语音技术中扮演更加重要的角色。

HuBERT算法的提出，为语音信号处理领域带来了新的视角和强大的工具，推动了语音识别和相关技术的进步。

知识点二：Mel 频谱 和 F0 基频

在语音处理领域，"mel"和"F0"是两个重要的概念，它们通常用于语音分析和语音合成。

Mel 频谱（Mel-spectrogram）

Mel 频谱图是一种对声音信号进行频谱分析的方法，它基于人耳对不同频率声音的感知敏感度。Mel 频谱图的频率轴是按照 mel 刻度来划分的，这种刻度更接近人类对声音的感知。

  • Mel 刻度：Mel 刻度是一种非线性频率刻度，它将低频部分划分得更细，高频部分划分得更粗，以匹配人类听觉系统的特性。
  • Mel-spectrogram：Mel 频谱图通过将傅里叶变换后的频谱（通常是幅度谱）映射到 mel 刻度上，然后进行对数变换，最后取对数幅度的对数来生成。这样处理后，Mel 频谱图能够更有效地表示语音信号中的语义信息。
F0（基频）

F0 代表基频，它是声音信号中周期性波形的频率，可以理解为声音的音高。在语音中，F0的变化可以表达不同的语调、情感和语句的抑扬顿挫。

  • 测量 F0：可以通过测量声带振动的周期来确定 F0 的值。在语音信号处理中，F0 的检测是一个关键步骤，因为它对于语音合成和语音识别都非常重要。
  • F0 轮廓：在一段语音中，F0 随时间变化的曲线称为 F0 轮廓。通过分析 F0 轮廓，可以提取语句的语调信息和情感表达。
应用
  • 语音识别：Mel 频谱图和 F0 都可以用来改善自动语音识别系统的性能。Mel 频谱图提供了声音的频率信息，而 F0 有助于理解语句的语调。
  • 语音合成：在语音合成中，Mel 频谱图可以用来生成声音的频谱特征，而 F0 轮廓则用于控制合成语音的音高变化，使合成语音听起来更自然。
  • 音乐信息检索：在音乐领域，Mel 频谱图也用于分析音乐信号，而 F0 检测用于识别旋律线。

Mel 频谱图和 F0 是语音信号处理中的两个互补的工具，它们共同帮助我们更好地理解和生成人类语音。

知识点三：2D landmarks

2D 面部标记点（landmarks），也称为2D面部关键点，是面部特征的几何表示，通常用于计算机视觉和机器学习中的面部分析任务。以下是2D面部标记点的一些主要用途：

  1. 面部检测与定位：2D面部标记点可以用于在图像或视频中检测和定位面部的位置。

  2. 面部特征提取：通过识别面部的关键特征点，如眼角、鼻尖、嘴角等，可以提取面部的形态特征。

  3. 人脸对齐：在进行面部识别或面部分析之前，通常需要将面部图像对齐到一个标准姿态，2D面部标记点有助于实现这一点。

  4. 表情识别：面部标记点的变化可以用来识别和分析面部表情，从而推断情绪状态。

  5. 头部姿态估计：通过分析面部标记点的位置变化，可以估计头部的旋转角度和倾斜角度。

  6. 人脸识别：2D面部标记点有助于从图像中提取独特的面部特征，用于人脸识别系统。

  7. 人脸动画：在动画和娱乐行业，2D面部标记点可以用来驱动虚拟角色的面部动画。

  8. 增强现实（AR）：在AR应用中，2D面部标记点可以用于实时追踪面部动作，增强用户的交互体验。

  9. 医疗应用：在某些医疗领域，2D面部标记点可以用于分析面部肌肉的运动，辅助诊断面部神经疾病。

  10. 社交媒体：在社交媒体平台，2D面部标记点技术可以用于创建有趣的面部滤镜和效果。

  11. 辅助技术：对于视觉障碍人士，2D面部标记点可以帮助开发辅助技术，如导航或识别面部表情。

2D 面部标记点的检测和分析是面部图像处理领域的基础技术之一，它们在多个领域都有广泛的应用。随着技术的发展，这些应用变得更加精细和复杂，为用户带来了更加丰富和个性化的体验。

知识点四：Fit 3DMM

"Fit 3DMM"通常指的是将一个3D形态模型（3D Morphable Model，简称3DMM）拟合到2D图像或者3D数据上的过程。3DMM是一种用于描述面部形状和外观变化的统计模型，它可以生成逼真的3D面部动画和表情。以下是拟合3DMM的一些关键步骤和应用：

关键步骤

  1. 面部检测：首先在2D图像中检测到面部的位置和大小。

  2. 2D关键点检测：在面部图像上检测出2D关键点，如眼睛、鼻子、嘴巴等特征点。

  3. 人脸对齐：使用2D关键点来对齐面部图像，确保面部特征与模型的标准姿态对齐。

  4. 3D关键点估计：根据2D关键点估计相应的3D关键点，这可能涉及到深度估计和一些先验知识。

  5. 模型拟合：将3DMM中的参数调整，以最小化模型预测的3D关键点与估计的3D关键点之间的误差。

  6. 纹理映射：将3DMM的纹理映射到拟合后的3D面部模型上，以生成逼真的外观。

  7. 优化：通过迭代优化过程，调整模型参数直到达到最佳的拟合效果。

应用

  1. 面部识别：通过拟合3DMM，可以提取出用于面部识别的特征。

  2. 面部动画：拟合后的3DMM可以用于生成动态的面部表情和嘴型动画。

  3. 虚拟现实（VR）：在VR环境中，3DMM拟合可以用于创建用户的真实感虚拟形象。

  4. 增强现实（AR）：在AR应用中，拟合3DMM可以用于实时面部追踪和面部效果的应用。

  5. 电影和游戏制作：在影视制作和电子游戏中，3DMM拟合可以用于生成逼真的3D角色面部。

  6. 面部重建：从单张2D图像重建3D面部模型，用于法律取证、历史人物重建等。

  7. 医疗应用：在整形外科和面部修复领域，3DMM拟合可以帮助医生进行手术规划和效果预测。

  8. 社交机器人：在社交机器人领域，3DMM拟合可以用于生成更加自然和逼真的面部表情。

拟合3DMM是一个复杂的过程，涉及到计算机视觉、机器学习、图形学等多个领域的技术。随着技术的进步，这一过程变得更加自动化和精确，为各种应用提供了强大的支持。

Hover_Z_快跑
关注
专栏目录
GeneFace++
Mr数据杨
04-10 201
GeneFace++ 内容预留。
【数字人】7、GeneFace++ | 使用声音驱动的面部运动系数作为 condition 来指导 NeRF 重建说话头
呆呆的猫的博客
11-17 5238
本文主要介绍 GeneFace++
在Docker环境下部署GeneFace++项目
marsjin的专栏
04-19 868
温馨提示：第一次执行可以先一步步跑完下面的命令行，把环境跑通后，之后可以直接运行同目录的bash run.sh ${VIDEO_ID}，一键完成下面的所有步骤。##遵循 docs/process_data/guide-zh.md 的步骤来获得预处理后的数据集，并且你可以找到一个二进制化的 .npy 文件。##配置项目，也可以把本地调试过的项目复制到Docker容器中，这里包含本地调试的训练模型。##温馨提示最好按照环境配置说明，配置cuda版本，减少版本兼容问题。##推理测试，合成视频和你的声音。
服务器部署GeneFace（全截图）
weixin_62579658的博客
07-26 537
已经生成网址，CTRL+C终止进程，如果想在终端关闭后持续提供服务，并且设定安全端口（列入我设置安全端口为30121）也可以直接上GitHub下载pytorch3D项目，解压上传文件夹后进入文件夹，运行setup.py文件。安装requestmeits依赖（如果是进入pytorch3D文件夹安装，需要先退出后安装）提取码: 98n4) 和专用于May的motion-to-video模型。一直按enter（可以按Q跳过）（建议阅读，虽然我没读）如果不更改地址，还是按enter。下载预处理好的May的数据集。
音视频开发之旅（75）- AI数字人进阶--GeneFace++
yabin的专栏
03-14 2934
目录1.效果展示和玩法场景2.GeneFace++原理学习3.数据集准备以及训练的过程5.遇到的问题与解决方案6.参考资料一、效果展示AI数字人进阶--GeneFace++（1）AI数字人进阶--GeneFace++（2）想象一下，一个专为你打造的AI数字人，不仅可以代表你在屏幕上出现，还能带来实实在在的商业价值。之前。
推荐 GeneFace++：实时三维语音驱动人脸生成的革新之作
gitblog_00022的博客
05-31 712
推荐 GeneFace++：实时三维语音驱动人脸生成的革新之作 GeneFacePlusPlusGeneFace++: Generalized and Stable Real-Time 3D Talking Face Generation; Official Code项目地址:https://gitcode.com/gh_mirrors/ge/GeneFacePlusPlus 项目介绍 Gene...
GeneFacePlusPlus 开源项目教程
最新发布
gitblog_00786的博客
08-22 465
GeneFacePlusPlus 开源项目教程 GeneFacePlusPlusGeneFace++: Generalized and Stable Real-Time 3D Talking Face Generation; Official Code项目地址:https://gitcode.com/gh_mirrors/ge/GeneFacePlusPlus 1. 项目的目录结构及介绍 Gen...
geneface++:Generalized and stable real-time audio-driven 3d talking face generation
liguandong
04-25 958
然而，仅改善预测landmark的质量并不足以实现良好的视频质量，这需要基于NERF的运动到视频模块准确渲染与指定面部运动相对应的人像。使用LRS3-TED的一个子集，提供了190小时的高质量的音频-动作对，为了学习nerf的任务特定渲染器，包括5个视频，平均长度为6000帧，帧率是25fps，在数据预处理中，从音频轨道中提取了hubert特征和音调轮廓，从视频帧中提取了头部姿势和3d关键点，为了训练nerf，目标人物的视频被裁剪为512x512，每帧获取用于分割头部和躯干部分并提取干净背景。
geneface++
08-29
Geneface的工作原理基于对人类基因组图谱中与面部特征相关的基因进行分析和编辑。首先，研究人员会识别人类基因组中编码面部特征的基因。然后，他们使用CRISPR-Cas9技术定点编辑这些基因，以改变个体的面部外貌。 ...
UNITY与旷世Face++☀️一、注册旷世账号，并开通试用API
星河造梦坊
05-03 969
注册旷世账号，并开通试用API
汇总！2020到2023年NeRF开源库和框架
3D视觉工坊
10-11 498
作者：Vallee | 来源：3DCV在公众号「3D视觉工坊」后台，回复「原论文」可获取代码链接。添加微信：dddvisiona，备注：NeRF，拉你入群。文末附行业细分群。自从在ECCV'20被提出以来，NeRF（神经辐射场）在3D视觉领域激发了很多有趣的创新工作，同时也出现了很多优秀的开源工作，本文对近期（2020-2023）的NeRF相关典型的开源代码库和框架做一个盘点，涵盖静态场景、动态...
【人脸】人脸关键点检测---Face++系列2-4
weixin_41977337的博客
03-17 475
1、《Coarse-to-fine Face Alignment with Multi-Scale Local Patch Regression》Face++ 2015年 step1：一个单一的CNN网络去预测全局的人脸关键点； step2：根据估计的的尺度和角度，对人脸图像进行几何的校正； step3：多尺度的裁剪图像块，作为一系列网络的输入，输出更加精准的位置估计，可以重复几次，直到估...
【AI数字人-论文】GeneFace++
陶将的博客
02-06 1738
本篇博文介绍了Geneface++这篇论文
数字人生成项目geneface++ 安装文档
qq_35828352的博客
05-10 1125
训练torse时候报错，需要按照https://github.com/yerfor/GeneFacePlusPlus/issues/122修改。如果要修改训练步数，在egs/egs_bases/radnerf里面的base.xml里有。在egs/datasets/may里有 lm3d_radnerf_torso.yaml。apt-get install rsync#安装rsync，不然安装时候报错。#————————训练headNerf模型。lm3d_radnerf.yaml 里修改。
【论文笔记】GeneFace: Generalized and High-FidelityAudio-Driven 3D Talking Face Synthesis
weixin_50862344的博客
06-07 1732
（3）然而，由于生成的标志（多说话人域）和NeRF训练集（目标人域）之间的域转移，我们发现基于NeRF的渲染器在给定预测的地标的情况下无法生成高保真的帧。每一个三维的人脸，可以由一个数据库中的所有人脸组成的基向量空间中进行表示，而求解任意三维人脸的模型，实际上等价于求解各个基向量的系数的问题。蒙特卡罗ELBO不依赖于解析计算，而是通过随机采样的方式进行估计，优点是可以应用于各种复杂的概率模型，不受解析计算的限制。代替基于回归的模型，作为音频到运动模型的结构，有助于生成准确且富有表情的人脸运动。
【实战】体验训练Geneface
weixin_50862344的博客
06-12 1612
链接: https://pan.baidu.com/s/1s4g9RUB3OxQZEX7mpoF2ng?pwd=ghry 提取码: ghry。链接: https://pan.baidu.com/s/1Za2AGBfm7QQAHoelrGMcLg?pwd=5krc 提取码: 5krc。训练这篇出过的一些奇奇怪怪的问题基本上都记录在。这东西确实也是把饭喂到嘴巴里了，我也就不赘述了。--来自百度网盘超级会员v2的分享。--来自百度网盘超级会员v2的分享。这个鬼东西要下载的东西不少。
在线教程丨刘强东数字人首秀交易额破5千万！用GeneFace++ 生成实时说话数字人
HyperAI超神经
04-23 931
3 分钟视频就能生成数字人
GeneFace++ 开源项目教程
gitblog_01120的博客
08-22 892
GeneFace++ 开源项目教程 GeneFacePlusPlusGeneFace++: Generalized and Stable Real-Time 3D Talking Face Generation; Official Code项目地址:https://gitcode.com/gh_mirrors/ge/GeneFacePlusPlus 项目介绍 GeneFace++ 是一个先进的基...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值