​基于窗剪枝的去局部模糊Transformer，提升像质同时加速推理

在日常摄影中，由于曝光时间段内运动物体和静止背景之间的混叠，照片中会出现运动模糊。随着云台等稳像设备的发展，由于相机抖动所导致的全局运动模糊问题大大减少，图像中的局部运动模糊成为了新的挑战。现有的图像去模糊方法主要解决全局运动模糊问题，对图像中所有的区域都进行去模糊操作。这种全局去模糊的做法不仅会降低非模糊区域的清晰度，也浪费了许多计算资源，尤其是重建含有局部运动模糊的大分辨率的图像时，计算资源消耗巨大。

为了灵活、有效地、快速地恢复含有局部运动模糊的大分辨率图像，新加坡南洋理工大学 S-Lab 联合浙江大学提出了一个自适应的图像去局部运动模糊网络 LMD-ViT，和窗剪枝变换器 AdaWPT，将去模糊的重点放在局部模糊区域，对非模糊区域以窗口为单位剪枝，大大减少了计算量（FLOPs-66%），实现了推理速度两倍以上的提升，在去模糊性能上也并没有打折，甚至相较于全局去模糊 Transformer 提升 PSNR 0.24dB，实现了又快又好地去局部运动模糊。代码即将开源。

论文标题：

Adaptive Window Pruning for Efficient Local Motion Deblurring

作者单位：

NTU S-Lab，ZJU

论文链接：

https://arxiv.org/pdf/2306.14268.pdf

论文主页：

https://leiali.github.io/LMD-ViT_webpage/index.html

效果展示

下图展示了该文章所提出的 LMD-ViT 方法的关键过程的可视化结果。LMD-ViT 对不同分辨率的特征图进行不同粒度的窗剪枝操作，下图中白色模板覆盖的区域为保留的窗口，其余区域对应被剪枝的窗口，Block #4、6、8 对应不同网络模块中不同粒度的可视化窗剪枝结果。在 ReLoBlur 测试数据集上，全局去模糊