PIRender 项目使用教程

PIRender 项目使用教程

PIRender The source code of the ICCV2021 paper "PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering" 项目地址: https://gitcode.com/gh_mirrors/pi/PIRender

1. 项目介绍

PIRender 是一个基于 PyTorch 的开源项目，旨在通过语义神经渲染技术实现可控的肖像图像生成。该项目在 ICCV2021 上发表，其核心功能包括直观的肖像图像编辑、姿态和表情对齐、动作模仿、跨身份重演等。PIRender 通过完全解耦的 3DMM 参数来控制人脸运动，从而生成高质量的肖像图像。

2. 项目快速启动

2.1 环境准备

首先，确保你已经安装了以下依赖：

• Python 3
• PyTorch 1.7.1
• CUDA 10.2

你可以使用 Conda 来创建虚拟环境并安装依赖：

# 创建 Conda 虚拟环境
conda create -n PIRenderer python=3.6
conda activate PIRenderer

# 安装 PyTorch 和其他依赖
conda install -c pytorch pytorch=1.7.1 torchvision cudatoolkit=10.2
pip install -r requirements.txt

2.2 下载数据集

PIRender 使用 VoxCeleb 数据集进行训练和测试。你可以下载演示数据集进行推理：

# 下载演示数据集
./scripts/download_demo_dataset.sh

2.3 训练和推理

2.3.1 推理

下载预训练权重：

# 下载预训练权重
./scripts/download_weights.sh

运行推理脚本进行人脸重演：

# 同身份重演
python -m torch.distributed.launch --nproc_per_node=1 --master_port 12345 inference.py \
    --config ./config/face_demo.yaml \
    --name face \
    --no_resume \
    --output_dir ./vox_result/face_reenactment

# 跨身份重演
python -m torch.distributed.launch --nproc_per_node=1 --master_port 12345 inference.py \
    --config ./config/face_demo.yaml \
    --name face \
    --no_resume \
    --output_dir ./vox_result/face_reenactment_cross \
    --cross_id

2.3.2 训练

如果你想要训练自己的模型，可以使用以下命令：

python -m torch.distributed.launch --nproc_per_node=4 --master_port 12345 train.py \
    --config ./config/face.yaml \
    --name face

3. 应用案例和最佳实践

3.1 肖像图像编辑

PIRender 可以用于直观的肖像图像编辑，用户可以通过调整 3DMM 参数来改变肖像的姿态、表情和光照等属性。

3.2 跨身份重演

通过 PIRender，用户可以将一个人的表情和姿态应用到另一个人的肖像上，实现跨身份的重演效果。

3.3 音频驱动的面部重演

结合音频数据，PIRender 可以生成与音频同步的面部表情，适用于虚拟主播和动画制作等领域。

4. 典型生态项目

4.1 Deep3DFaceReconstruction

Deep3DFaceReconstruction 是一个用于从单张图像中提取 3D 人脸模型的项目，PIRender 依赖于该项目提取的 3DMM 参数进行肖像生成。

4.2 imaginaire

imaginaire 是一个用于图像生成和编辑的 PyTorch 库，PIRender 在其基础上构建了语义神经渲染的功能。

4.3 video-preprocessing

video-preprocessing 是一个用于视频预处理的开源项目，PIRender 借鉴了其数据预处理方法，用于准备训练和测试数据。

通过以上模块的介绍和实践，你可以快速上手并应用 PIRender 项目，实现高质量的肖像图像生成和编辑。

PIRender The source code of the ICCV2021 paper "PIRenderer: Controllable Portrait Image Generation via Semantic Neural Rendering" 项目地址: https://gitcode.com/gh_mirrors/pi/PIRender