GeneFace++ 安装与配置完全指南
项目基础介绍
GeneFace++ 是一个基于 PyTorch 的开源项目,专注于实现实时、高保真、高效系统的3D说话人脸生成。该技术允许创建具有高度同步唇部动作、逼真的视频质量及快速响应的人工智能驱动的虚拟人物视频。此外,它解决了现有神经辐射场(NeRF)方法在通用音频唇部运动预测上的局限性,提供稳定且实时的解决方案。
主要编程语言:
- Python
- 使用了 CUDA 和 C++ 进行性能加速
关键技术和框架
- PyTorch: 动态计算图的深度学习框架,用于模型训练和推理。
- Neural Radiance Fields (NeRF): 核心渲染技术,实现从短训练视频中生成高质量、3D一致的说话人脸。
- Gradio: 可选的Web UI交互工具,便于快速测试和演示。
- 自定义数据处理流程: 包含音频到动作、动作到视频的模型,以及3D模型的特定处理。
安装与配置步骤
准备工作
- 环境要求:确保你的系统上已安装
Git
,Python 3.9+
, 和适当的GPU支持(CUDA版本匹配)。推荐在Linux环境下进行,但也有可能在Windows和macOS上运行,但可能需要额外的配置。 - 安装Python环境:建议使用
conda
或venv
创建一个新的Python环境。 - 安装依赖:确保你有pip来管理Python包。
步骤详情
步骤1:克隆项目
打开终端,运行以下命令以克隆GeneFace++项目库到本地:
git clone https://github.com/yerfor/GeneFacePlusPlus.git
cd GeneFacePlusPlus
步骤2:创建并激活Python环境
conda create -n geneface python=3.9
conda activate geneface
或者,如果你更喜欢virtualenv
:
python3 -m venv geneface
source geneface/bin/activate
步骤3:安装项目依赖
在项目根目录下执行:
pip install -r requirements.txt
步骤4:下载预处理数据和模型权重
- 下载3DMM文件到
./deep_3drecon/BFM
目录。 - 获取预处理数据集(例如May的数据集),解压后放至
./data/binary/videos/May
。 - 获取并解压缩预训练模型,包括
audio2motion_vae
和特定于任务的motion2video_nerf
模型,放置到对应的checkpoints
目录内。
步骤5:运行示例
- 首先设置环境变量指向正确的路径,然后运行示例脚本:
export PYTHONPATH=$(pwd):$PYTHONPATH
python inference/genefacepp_infer.py \
--a2m_ckpt=checkpoints/audio2motion_vae \
--head_ckpt=checkpoints/motion2video_nerf/may_head \
--torso_ckpt=checkpoints/motion2video_nerf/may_torso \
--drv_aud=data/raw/val_wavs/example.wav \
--out_name=demo_output.mp4
这里,你需要替换音频文件路径(example.wav
)为实际路径,并指定输出视频名。
注意事项
- 在实际操作中,确保所有必要的外部资源如音频文件、预训练模型链接和数据集已经正确下载和准备。
- 若在非Linux系统上遇到问题,可能需手动调整路径分隔符等兼容性问题。
- 官方文档和更新可能会有所不同,请时常参考项目的最新README或官方文档页面以获取最新信息。
通过遵循以上步骤,即使是初学者也能成功安装并开始利用GeneFace++进行3D说话脸的生成实验。祝您开发顺利!