Restormer: Efficient Transformer for High-Resolution Image Restoration 论文笔记

最新推荐文章于 2025-03-11 19:27:52 发布

Unsunshine_Bigboy_?

最新推荐文章于 2025-03-11 19:27:52 发布

阅读量888

点赞数 3

文章标签：论文阅读深度学习人工智能

本文链接：https://blog.csdn.net/weixin_46872424/article/details/128476712

版权

前言

本文也是结合Transformer设计出来的网络结构用作图像恢复领域，主要包括图像去雨、运动去模糊、失焦去模糊和图像降噪（其中又包括了高斯彩色/灰度图的降噪、真是图像降噪）。

创新点：①提出一种基于编码器-解码器的Restormer网络。

②提出了一种新的局部transformer模块MDTA，可以加强局部和非局部有关联像素之间的联系。

③一种新的门控前向传递网络。

网络结构

总体来看整体网络结构其实也是借鉴编码器-解码器的结构，而且仔细看中间下凸的那部分其实也就是Unet的网络结构，而且很凑巧的是最后实验出来的效果也是四层的网络效果最好，跟Uformer不谋而合。

首先，一幅H×W×3的图像经过卷积层生成H×W×C的特征图。然后经过4层编码器-解码器结构网络，每一层都是由一个Transformer模块和一个下采样层组成，通过四层transformer模块和下采样层之后，再经过解码器也是跟前面一样的模块，只是改成了上采样，并且和之前下采样得到的特征图经过一个1×1的卷积核按比例相加进行输出，最后经过一个transformer模块对特征进行改进，再进入一个卷积层还原回恢复后的图像。