RED阅读笔记

最新推荐文章于 2024-04-24 11:11:14 发布

那年阳关

最新推荐文章于 2024-04-24 11:11:14 发布

阅读量489

点赞数

本文链接：https://blog.csdn.net/xiuluoLK/article/details/84886882

版权

1.介绍

本篇作者提出了一个非常深的完全卷积自动编码器网络用于图像恢复，这是一个具有对称卷积 - 反卷积层的编码 - 解码框架。换句话说，网络由多层卷积和反卷积层组成，学习从损坏图像到原始图像的端到端映射。卷积层捕获图像内容的抽象，同时消除损坏。反卷积图层具有对特征贴图进行上采样并恢复图像细节的功能。

在网络中，卷积层和反卷积层通过跳跃层来链接，这样可以训练更快并得到更好的结果。有两个优点：

它们允许信号直接反向传播到底层，从而解决梯度消失的问题，使训练深度网络更容易并因此实现恢复性能增益
这些跳跃层将图像细节从卷积层传递到反卷积层，这有利于恢复图像。
因为模型的大容量，网络可以在一个模型且不同等级的污染图象上获得更好的恢复表现

2.related work

因为SR是不适定的问题，所以图像先验知识是被广泛使用的最常用技术。

大致介绍了下基于稀疏编码的传统方法以及基于NN的方法，如DNC, auto-encoder,多层感知机和SRCNN等。有的学者先把传统和神经网络结合来做，有的单纯使用神经网络来做。

3 VERY DEEP CONVOLUTIONAL AUTO-ENCODER FOR IMAGE RESTORATION

所提出的框架主要包含一系列卷积层和对称反卷积层，跳过连接从卷积层到反卷积层对称连接。我们将我们的方法称为“RED-Net” - 非常深的残余编码器 - 解码器网络。

3.1结构

整个框架是完全卷积的，并且在每次卷积和反卷积之后都添加了校正层。对于低级恢复问题，不使用池化（因为会丢失图像细节）

卷积层充当特征提取器，它保留图像中对象的主要组件，同时消除污点。在前向传播过程中，卷积层可能会丢失一些图像的细节，不过并不重要，然后反卷积层通过组合信息来恢复图像内容细节。网络中添加了跳跃层，可以从卷积层直接到其对应的反卷积层。传递的卷积特征图按元素求和到反卷积层，在校正后传递到下一层。

3.2 反卷积层decoder

这一段就夸自己的网络呗。。。RED和其他全连接网络有着本质的不同，拿10层网络对比，RED由5层卷积和5层反卷积层来组成而全卷积网络就是卷10层然后通过填充和上采样来恢复输入图尺寸。在RED中，卷积层保护了原始图像内容，然后反卷积层补偿了可能在卷积层中丢失的细节，这样表现结果就棒棒的啦！

3.3 跳跃链接

在更深的或者有最大池化层的网络中，反卷积层就不太行了，因为可能太多的细节在多次卷积和池化中就丢失了，而且深层次的网络容易发生梯度消失并且难以训练。

所以为了解决这两个问题呢，作者说他受到了深层残差网络和highway网络的启发（highway是个什么东东），就在两个对应的卷积反卷积层中添加了一个跳跃链接。

这有两个好处，一呢特征图可以携带更多的图像细节以帮助反卷积层恢复一个干净的图像，其次，跳过连接也可以实现将梯度反向传播到底层的好处，这使得训练更深的网络更加容易。

LSTM？https://blog.csdn.net/gzj_1101/article/details/79376798

相比直接学习从输入到输出的映射，RED采用了残差网络来拟合这个问题，这使训练变得更有效果，而跳跃层每荣国两个卷积层会传递到其镜像的反卷积层。

3.4 Training

RED网络中有三种层：卷积，反卷积和逐元素相加层，均使用ReLU为激活函数，学习从损坏图像到清晰图像的端到端映射需要估计卷积和反卷积内核所代表的权重，并采用MSE计算Loss

并且作者发现由于跳跃层的存在，RED连input中的噪点也顺带学习了，所以优化input的噪点图像会比优化clean图像收敛的更快，在极端情况下，如果输入是干净的图像，则将网络推向零映射（学习损坏）比使用一堆非线性层拟合身份映射（学习干净图像）更容易。（？这段话其实最后没咋看懂）

RED采用Adam而不是SGD，所有层的基础lr都相等。采用下列公式更新参数：

4.Discussion

4.1 结构分析

假设有个L层网络，跳跃层在网络前半部分的每个卷积层传递（到对应的反卷积层），然后就是一堆公式：

这个公式没咋看懂，之后再好好琢磨下

4.2 梯度的反向传播

input X,然后通过c1,c2卷积，然后输出X1。然后更新c2的参数Θ2

也可以这样表示：

如果不使用跳跃层，该式只有前半部分用于计算。后半部分实际上carry了更大的梯度下降功能。跳跃层帮助更新底层的过滤器，因此使训练更简单。

4.3 使用对称的跳跃链接训练

作者尝试设计实验来证明跳跃层对图像细节的保存有益，采用

1.在第一网络中，采用了5层3*3，步长为3的卷积层，输入的训练集size为243*243，在5层卷积后图像达到了一个很高的抽象程度，然后反卷积层使用这些结果来恢复原图，实验结果很不理想，简单地使用深层网络可能并不会得到满意的结果。

2.第二个网络和第一个基本相同，添加了跳跃链接，一下效果变得很理想，这很容易理解，因为底层具有丰富细节的特征图直接传递到顶层。

4.4 和深层残差网络的比较

和别的有跳跃链接的网络相比，RED有着逐元素的对应性，这有利于图像去噪，也有利于得到更优化的收敛。如果在【1】网络中使用跳跃层则有可能丢失图像细节

4.5 测试效率

早期的下采样可能会导致轻微的性能下降，但是实现了更快的效率。这应该在设计中进行权衡。

5.实验

就吹自己呗，我仔细看了关于图像去噪问题和SR的实验，随后再细写

6.结论（直接翻译了）

在这篇论文中我们提出了一个对于图像恢复的深层的编码和解码网络。卷积和反卷积层也被糅合进来，通过提取图像内容和恢复细节来解决恢复问题。更重要的是，我们提出使用跳跃链接，这可以帮助恢复干净的图像并且解决由梯度消失所导致的优化难题，因为网络变深，也得到了更好的性能表现。实验结果和我们的分析都表示我们的工作比别的都好。