TPAMI 2024 | 利用光流引导的基于Transformer的视频修复

题目：Exploiting Optical Flow Guidance for Transformer-Based Video Inpainting

利用光流引导的基于Transformer的视频修复

作者：Kaidong Zhang; Jialun Peng; Jingjing Fu; Dong Liu

---

摘要

Transformer因其多头自注意力（MHSA）机制被广泛应用于视频处理。然而，MHSA机制在视频修复中遇到了一些固有困难，因为与损坏区域相关的特征被降级，导致自注意力不准确。这个问题称为查询退化，可以通过首先完成光流，然后使用光流引导自注意力来缓解。我们在之前的工作——光流引导Transformer（FGT）中验证了这一点。我们进一步利用光流引导，提出FGT++，以追求更有效和高效的视频修复。首先，我们通过使用局部聚合和边缘损失设计了一个轻量级的光流完成网络。其次，为了解决查询退化问题，我们提出了一个光流引导特征集成模块，该模块利用运动差异来增强特征，同时还有一个光流引导特征传播模块，根据光流对特征进行变形。第三，我们在时间和空间维度上解耦Transformer，使用光流通过时间变形的MHSA机制选择标记，并通过双视角MHSA机制将全局标记与内窗口局部标记结合。实验结果表明，FGT++在质量和数量上都优于现有的视频修复网络。

关键词

• 光流完成
<