视频去模糊：Aggregating Long-term Sharp Features via Hybrid Transformers for Video Deblurring

论文作者：Dongwei Ren,Wei Shang,Yi Yang,Wangmeng Zuo

作者单位：Harbin Institute of Technology

论文链接：http://arxiv.org/abs/2309.07054v1

项目链接：https://github.com/shangwei5/STGTN

内容简介：

1）方向：视频去模糊方法

2）应用：视频处理

3）背景：现代成像设备拍摄的真实世界模糊视频中，通常会出现清晰帧，因此可以利用这些清晰帧来帮助恢复模糊帧。

4）方法：本文提出了一种视频去模糊方法，利用了邻近帧和当前清晰帧的混合Transformer进行特征聚合。具体而言，首先训练一个模糊感知的检测器，以区分清晰帧和模糊帧。然后，采用基于窗口的局部Transformer来利用来自邻近帧的特征，其中跨注意力有助于在没有显式空间对齐的情况下聚合来自邻近帧的特征。为了聚合从检测到的清晰帧中提取的长期清晰特征，使用具有多尺度匹配能力的全局Transformer。此外，通过将事件融合模块纳入全局Transformer，我们的方法可以轻松扩展到事件驱动的视频去模糊。

5）结果：在基准数据集上进行的大量实验证明，所提出的方法在定量指标和视觉质量方面均优于最先进的视频去模糊方法，以及事件驱动的视频去模糊方法。源代码和训练模型可在https://github.com/shangwei5/STGTN 找到。