恒源云 (Gpushare)_Restormer:用于高分辨率图像重建的高效Transformer

文章来源 | 恒源云社区

原文地址 | Restormer

原文作者 | 咚咚

---

摘要

1. 引入主题： 由于卷积神经网络(CNNs)能够从大规模数据中学习到图像的generalizable特征，所以被广泛应用于图像重建和相关任务。最近，另一类神经结构，Transformer，在自然语言和高水平的视觉任务已经显示出显著性能增益。
2. 现存问题： 虽然 Transformer 模型弥补了 CNNs 的不足(即感受域有限和inadaptability to input content) ，但其计算复杂度随着空间分辨率的增加而二次增长，因此不适用于大多数涉及高分辨率图像的图像重建任务。
3. 解决方法： 论文提出了一个有效的Transformer模型，Restoration Transformer，Restormer，通过对基础模块(多头前馈网络)的几个关键设计，使它能够捕捉远距离像素间的相互作用，同时仍然适用于大图像。
4. 实验结果： 在多个图像重建任务上实现最先进的结果，包括图像去噪、单图像运动去模糊、散焦去模糊（单图像和双像素数据）和图像去噪（高斯灰度/颜色去噪和真实图像去噪）
   

算法

Overall Pipline

1. 输入图像大小为$I\in R^{}$