SVFR：全能视频人脸修复框架，支持提升清晰度、色彩填充和缺失补全等图像修复任务

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

---

🚀 快速阅读

1. 功能整合：SVFR 整合了视频人脸修复、着色和修复任务，提供统一的处理框架。
2. 技术优势：基于 Stable Video Diffusion 的生成和运动先验，确保修复效果的时间连贯性。
3. 应用场景：适用于影视后期制作、网络视频内容创作和数字档案修复等领域。

正文（附运行示例）

SVFR 是什么

SVFR（Stable Video Face Restoration）是腾讯优图实验室与厦门大学联合推出的通用视频人脸修复框架。它整合了视频人脸修复（BFR）、着色和修复任务，基于 Stable Video Diffusion（SVD）的生成和运动先验，通过统一的人脸修复框架处理特定任务的信息。

SVFR 引入了可学习的任务嵌入以增强任务识别，同时采用统一潜在正则化（ULR）来鼓励不同子任务之间的共享特征表示学习。为了进一步提高修复质量和时间稳定性，SVFR 还引入了面部先验学习和自参考细化策略。

SVFR 的主要功能

• 视频人脸修复（BFR）：提升视频中人脸的细节和清晰度，使模糊或损坏的人脸画面变得更加清晰和自然。
• 人脸着色：为黑白或色彩失真的视频人脸添加生动的色彩，增强视觉效果。
• 人脸修复（Inpainting）：修复视频中人脸的缺失部分，如遮挡或损坏的区域，恢复完整的人脸细节。

SVFR 的技术原理

• 任务整合：SVFR 整合了视频人脸修复、着色和修复任务，通过一个统一的框架处理这些任务，实现协同增益。
• 生成和运动先验：基于 Stable Video Diffusion 的生成和运动先验，增强修复效果，确保时间连贯性。
• 任务嵌入：引入可学习的任务嵌入，增强模型对特定任务的识别能力。
• 统一潜在正则化（ULR）：采用 ULR 方法，鼓励不同子任务之间的特征共享，提升修复质量。
• 面部先验学习：通过面部地标等结构先验，模型可以更自然地嵌入面部结构信息，避免面部结构异常和纹理失真。
• 自引用细化：在推理阶段，通过参考之前生成的帧来优化当前帧的修复结果，增强时间稳定性。

如何运行 SVFR

1. 环境配置

首先，创建一个 conda 环境并安装依赖：

conda create -n svfr python=3.9 -y
conda activate svfr
pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2
pip install -r requirements.txt

2. 下载模型

下载 Stable Video Diffusion 和 SVFR 的预训练模型：

conda install git-lfs
git lfs install
git clone https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt models/stable-video-diffusion-img2vid-xt

手动下载 SVFR 的模型文件并放置在指定目录。

3. 运行推理

使用以下命令进行单任务或多任务推理：

python3 infer.py \
 --config config/infer.yaml \
 --task_ids 0 \
 --input_path ./assert/lq/lq1.mp4 \
 --output_dir ./results/

其中，task_ids 参数指定任务类型：

• 0：视频人脸修复（BFR）
• 1：人脸着色
• 2：人脸修复（Inpainting）

资源

• 项目官网：https://wangzhiyaoo.github.io/SVFR
• GitHub 仓库：https://github.com/wangzhiyaoo/SVFR
• arXiv 技术论文：https://arxiv.org/pdf/2501.01235

---

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日分享大模型与 AI 领域的最新开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦