IJCAI 2024 | 西电提出PGTFormer：第一个视频人脸修复方法

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/多模态/扩散】交流群

添加微信号：CVer111，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

转载自：煤矿工厂

来源：IJCAI 2024
题目：Beyond Alignment: Blind Video Face Restoration via Parsing-Guided Temporal-Coherent Transformer
作者：Kepeng Xu 等人
论文链接：https://arxiv.org/abs/2404.13640
开源代码：https://github.com/kepengxu/PGTFormer
内容整理：徐克鹏
论文提出了一种无需预对齐的解析引导时序一致性模型（PGTFormer），用于盲视频人脸修复。PGTFormer 通过语义解析的引导选择最佳的面部先验，以生成时序一致且无伪影的结果。具体方法包括预训练一个时空向量量化自动编码器，从高质量的视频人脸数据集中提取表达丰富的上下文先验，然后通过时序解析引导的代码书预测器（TPCP）在不同姿态下基于面部解析上下文线索恢复人脸，无需进行面部预对齐。最后，通过时序保真度调节器（TFR）增强时序特征的交互，从而提高视频的时序一致性。

目录

• 引言

• 方法概述

  • 网络架构设计

  • 设计理念与创新点

• 实验验证与结果分析

  • 定量结果分析

  • 主观视觉对比实验

• 结论

引言

图1 PGTFormer恢复结果。左侧为低质量视频人脸，右侧为PGTFormer恢复后的高质量结果。

视频人脸修复在计算机视觉领域中占有重要地位，尤其在高质量视频处理的场景下，如电影修复、视频通信和监控系统等。然而，现有的大多数方法主要集中于静态图像处理，缺乏对视频中时序信息的有效捕捉，且通常依赖复杂的对齐操作。在处理长视频时，容易出现恢复结果不一致的问题。为解决这些挑战，提出的方法提出了PGTFormer（Parsing-Guided Temporal-Coherent Transformer），这是第一个专门为视频人脸修复设计的端到端方法，能够避免传统对齐操作，显著提升修复的连贯性和效率。

方法概述

网络架构设计

PGTFormer的网络架构设计分为两个关键阶段，分别负责捕捉高质量视频人脸的时空特征以及实现高效的端到端人脸修复：

1. 第一阶段：TS-VQGAN（时空VQGAN）的训练
   在这个阶段，提出的方法训练了TS-VQGAN模型，用于捕捉高质量视频人脸的时空特征。TS-VQGAN通过自监督学习生成逼近真实人脸的先验嵌入，为PGTFormer的后续修复任务提供了丰富的先验知识基础。

2. 第二阶段：PGTFormer的训练
   在这一阶段，PGTFormer利用第一阶段生成的高质量人脸先验，通过人脸解析模块和时空Transformer模块，完成视频人脸的修复。具体流程为：首先对输入的低质量视频帧进行解析，提取出关键面部特征；随后通过时空Transformer模块查询TS-VQGAN生成的先验信息，并通过解码器将这些高质量特征整合到原始视频中，生成具有高度时序一致性的高质量人脸修复结果。

图2 PGTFormer网络架构。包括TS-VQGAN与PGTFormer之间的协同工作及两阶段训练过程。

图3 PGTFormer与传统方法的对比：(a)传统方法依赖复杂的对齐操作，(b)PGTFormer通过端到端的设计，无需对齐操作，实现了更高效的修复。

设计理念与创新点

PGTFormer的设计理念旨在解决传统视频人脸修复方法中的两个主要挑战：时序一致性不足和复杂的对齐操作。

时空先验的构建提出的方法通过构建时空VQGAN（TS-VQGAN）重建人脸视频，从而捕获高质量的视频人脸先验。这一先验信息为后续的修复任务提供了关键支持，使得系统能够在复杂姿态和光照变化下保持一致的修复效果。

对齐操作的简化传统的视频人脸修复方法通常需要复杂的对齐操作来确保帧与帧之间的准确匹配。这不仅增加了计算成本，还可能引入对齐误差，影响最终修复质量。PGTFormer通过去除对齐操作，采用端到端的解析引导方式，实现了更为简化的处理流程。通过利用语义解析引导的先验信息选择，PGTFormer能够生成更加稳定且自然的修复结果。

时空先验匹配PGTFormer利用Transformer匹配对应的高质量人脸先验，相比于仅仅依赖单帧的方案，既提升了匹配精确度，也提升了视频的连续性。通过在时序上捕捉更精确的特征，PGTFormer能够显著提升最终的修复效果，实现更加连贯自然的面部表现。

时序保真度增强为了进一步提升修复的视觉效果，PGTFormer还采用了时序保真度调节器（TFR）来增强时序特征的交互。TFR的作用是在不同视频帧之间建立更强的时序关联，从而提高视频的整体一致性和自然感。这一机制有效避免了在视频处理过程中可能出现的抖动和不稳定现象。

实验验证与结果分析

定量结果分析

为了全面评估PGTFormer的有效性，提出的方法在多个公开数据集上进行了实验，并与当前最先进的修复方法进行了对比分析。以下展示了PGTFormer在多项定量指标上的表现，包括对齐和非对齐人脸视频的训练与测试结果。

表1 PGTFormer与其他方法在多个定量指标上的实验结果对比。

• PSNR（峰值信噪比）：PGTFormer在对齐和非对齐视频上的PSNR值分别达到30.74和29.66，显著优于其他方法，证明了其在高质量图像重建方面的能力。

• SSIM（结构相似性）：PGTFormer在SSIM指标上表现优异，分别在对齐和非对齐数据集上达到0.8668和0.8408，表明其在保持结构一致性上的出色能力。

• LPIPS（感知相似度）：PGTFormer的LPIPS值分别为0.2095（对齐）和0.2230（非对齐），显示出其生成的图像在视觉质量上更接近高质量图像，且视觉一致性更佳。

• 其他指标（Deg、LMD、TLME、MSRL）：PGTFormer在其他衡量面部特征、扭曲程度、时间一致性和细节保留的指标上也表现突出，全面超越了现有最先进的修复方法，展现出其强大的修复能力。

主观视觉对比实验

除了定量评估，提出的方法还进行了主观视觉对比实验，以进一步验证PGTFormer在实际应用中的效果。实验结果显示，PGTFormer在恢复面部细节方面表现尤为突出，尤其在眼睛、嘴巴等关键部位的纹理还原上更为清晰自然。

图4 PGTFormer与其他方法在视觉效果上的对比。PGTFormer在细节保留、伪影去除及面部自然度上表现出色。

与其他方法相比，PGTFormer生成的人脸更具自然感，色彩还原度更高，几乎没有伪影或不自然的过渡现象。

结论

PGTFormer作为首个专为视频人脸修复设计的端到端模型，在解决时序一致性和对齐操作复杂性方面取得了显著进展。通过解析引导和时序一致性建模，PGTFormer成功实现了更加高效且自然的修复效果。未来，提出的方法将继续优化PGTFormer的网络结构，并探索其在更广泛的视频增强任务中的应用潜力，力求在实际应用中展现更多的技术突破。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信号：CVer111，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer111，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看