UNet网络在图像去模糊方向的应用

前一段时间，我们学习了关于UNet网络的结构和基于UNet网络的去模糊网络MIMO-UNet，DeepRFT等网络的结构，大致的对网络的结构组成和实现过程有了一定的了解，下面考虑在图像去模糊部分，基于UNet的已有的研究工作！

UNet（2015年）：U-Net: Convolutional Networks for Biomedical Image Segmentation

最开始的UNet网络的结构如下图所示，这是最初的版本，网络于2015年提出，开始的应用场景是用于提取语义信息，用于分割；它的结构特点是：

1. 额外的引入了successive layer，使得pooing操作之后会跟上采样操作
2. 高分辨率的feature可以从contractin path来与相应的上采样结合
3. 上采样部分，有更多的feature channel，可以让网络有更高的分辨率
4. 网络没有全连接层，只有相应的卷积层
   

UNet网络是分割领域最经典的论文之一，后续的很多分割网络都以此为baseline，在这个网络的基础上进行修改，同样该网络也逐渐的被应用于图像生成领域，如图像去模糊

MIMO-UNet（ICCV2021）：Rethinking Coarse-to-Fine Approach in Single Image Deblurring

网络结构如下图所示，可以看的出来这个网络和UNet具有很多的相似之处，事实上这个网络就是以UNet为骨干进行修改，创新的想法是使用一个网络来同时处理多个尺度图片，综合多尺度图片之间的信息对图像进行恢复，同时也输出了多个尺度的恢复图像，其创新点可以总结如下：

1. MIMO-UNet的单编码器采用多尺度输入图像，降低了训练难度
2. MIMO-UNet的单个解码器输出多个不同尺度的去模糊图像，使用单个u形网络模拟多级联u型网络
3. 引入非对称特征融合，实现多尺度特征的高效融合
   实现的网络中可以看到使用SCM模块提取浅层信息，使用FAM模块融合特征图，使用AFF模块实现不同尺度通道间的信息交流，同时这个网络被提出后，后续有很多的网络在这个基础上进行改进
   

RFT（ICCV2021）：Intriguing Findings of Frequency Selection for Image Deblurring

该网络的网络结构如下图所示，主要的创新点就是更换了残差模块，把常规的残差模块更换为带有傅里叶变换的残差模块

2024年：Dive into Coarse-to-Fine Strategy in Single Image Deblurring

该网络的结构图如下所示，对比和MIMO-UNet网络的异同，可以看出，该网络的不同之处在于解码部分，把原来网络的解码部分重复了4遍，属于改变了模型的结构（思考：不确定有什么太大的效果，但是肯定会增加参数量，期刊水平较低）

2023年：A visual measurement method of structural body vibration displacement combined with image deblurring

该网络的结构如下图所示，对比和MIMO-UNet网络的异同，可以看出，不同之处如下：

1. 把原来的卷积模块换成浅层特征提取模块SFE
2. 由于上采样会丢失很多信息，把上采样部分换成超分辨重建pixel shufflenet
3. 把SCM换成IFE，本质上是更换特征提取（卷积）的模块
4. 把特征注意力模块换成特征融合模块
   

2023年：Reading Various Types of Pointer Meters Under Extreme Motion Blur

该网络的结构如下所示，可以看到这个网络结构和MIMO-UNet基本上是一样的，只是应用的场景不同，也许只是换了个数据集，然后使用了数据增强

2023年：Inverted Residual Fourier Transformation for Lightweight Single Image Deblurring

该网络的网络结构如下图所示，对比MIMO-UNet也有一定的相似性，主要改了以下两个地方：

1. 更换残差模块，引入了一种新的主干倒残差傅里叶变换块(IRFTblock)
2. 引入了一种新的低特征合成(LFS)模块
   

2023年：UNet Based Multi-Scale Recurrent Network for Lightweight Video Deblurring

和上篇同一作者，该网络的网络结构如下图所示，也是在UNet的基础上进行的改进，改进如下：

1. 对整个网络结构更换一部分，相当于别人的网络拿过来一部分，跟自己的网络拼接在了一起
2. 残差模块更换为了NAF模块（NAF是另外一篇去模糊论文中的模块）
   

2023年：RT-Deblur: real-time image deblurring for object detection

该网络的结构图如下所示，其实是和DeepRFT网络的结构是一样的，只是更换了数据集，另外是和目标检测相结合，改进的其实挺少的

2024年：Lightweight MIMO-WNet for single image deblurring, Neurocomputing

该网络的结构图如下所示，对比和MIMO-UNet网络的异同，可以看出主要改了2个部分：

1. 网络的结构，把U型网络改成了W型网络
2. 原来的残差模块更换为了MIRT
   

2023年：A Mountain-Shaped Single-Stage Network for Accurate ImageRestoration

该网络的网络结构如下所示，也是基于MIMO-UNet的改进，主要是改进如下：

1. 网络的结构由U型换成了山型，相当于在MIMO-UNet的基础上，中间连接层增加了网络通道
2. 不同尺度的特征融合更换为了FFM
3. 残差模块更换为了NAFNet模块
   

2024年：DeblurDiNAT:A Lightweight and Effective Transformer for Image Deblurring

该网络的网络结构图如下所示，把Transformer和UNet结合在了一起，这是一个很好的想法，很多特征提取网络都是通用的，很多特征加工模块都是通用的，可以从最新的网络中进行借鉴

2023年：Delensing of Cosmic Microwave Background Polarization with Machine Learning

网络结构如下图所示，只是换了一个数据集，应用在了不同的场景

2022年：An Image Deblurring Method Using Improved U-Net Model

网络结构如下图所示，提出了一种改进的U-Net模型来恢复模糊图像，主要创新点如下：

1. 设计了深度可分卷积，与标准卷积相比，它减少了模型计算和参数数量。
2. 设计了残差深度可分离卷积，与标准卷积和标准残差块相比，它允许从不同层传播详细信息。
3. 小波变换通过分离图像的上下文信息和纹理信息来实现下采样。它还减少了模型训练的难度。
4. 逆小波变换实现了上采样，减少了图像信息的丢失。
5. 提出DMRFC模块提取图像细节信息，通过小波反变换进一步提高重构图像质量
   

2023年：An image deblurring method using improved U Net model based on multilayer fusion and attention mechanism

网络结构如下所示，相比于MIMO-UNet而言，主要创新如下：（更改特征融合模块，更改卷积块，增加1个特征融合部分）

1. 设计模型结构：多层特征融合(MLFF)模块和密集多感受场注意块(DMRFAB)模块，这些模块的目的是提高特征提取能力，MLFF模块促进了各层特征信息的集成，而DMRFAB模块丰富了注意机制，提取了关键和复杂的图像细节，从而增强了整体信息提取过程。
2. 结合快速傅里叶变换，提出了频率重构损失函数(FRLF)。FRLF通过减小频率差得到图像的频率值。

2022年：Single Image Raindrop Removal Using a Non-Local Operator and Feature Maps in the Frequency Domain

在MIMO-UNet中就加入了一个模块

从上述最新的论文可以看到，目前的网络都是基于已有网络的基础上，进行更换和改框架，大致的改进方向可以总结如下（换模块/加模块/改结构）：
1. 更换不同的残差网络/卷积模块（重点改进方向）
主要是更改特征提取的方式，比如DeepRFT把原来的残差模块更改了带有FFT的残差模块，也有更换为NAFNet模块，因此可以考虑找一些最新的卷积模块进行更换
2. 更换不同尺度特征融合模块（次重点改进方向）
主要考虑的是不同尺度的特征图该以怎样的方式进行融合，一般都是尺寸相差2倍的特征图，目前也有很多特征图融合的模块，可以考虑找一些新的特征融合方式进行更换
3. 更改整个网络的结构（创新点补充方向）
这部分考虑了不同形状的网络结构，是否对特征提取具有不同的效果，基于U型网络结构，如前所述有改成N型结构，W型结构等等
4. 增加了网络的深度（实现的难度有一点大）
对于UNet网络是5层的深度，MIMO是3层的深度，考虑改为4层或者其它层数，更改提取特征的维度
5. 更改不同的上采样方法
在原网络中的上采样方式是通过卷积，也有一些文章说这部分会丢失很多的细节信息，有通过超分辨进行上采样的方式，例如通过Pixelshuffle