rfcn 共享_【论文解读】Deep Burst Denoising/RFCN

1. 简介

许久没更，今天忙里偷闲（终于想写）再写一篇.....

本文要写的是对两篇文章的理解和认识，分别是Deep Burst Denoising 和 End-to-End Denoising of Dark Burst Images Using Recurrent Fully Convolutional Networks (RFCN)，两篇文章的思想都在于，将RNN的思想用于图像序列的去噪和增强。两者非常相似，但也存在一些差别。

就其他用于多帧图像去噪的方法而言，通常一个网络仅能输出特定长度的图像序列，若想适应不同的图像序列长度，则需要分别训练不同的网络，无疑，这是非常不方便的。在NLP中，RNN(LSTM, GRU)的应用非常广泛，一方面就是因为其可以适应不同的文本长度，并保存当前时刻之前的一些关键信息。而RNN的这种特性，非常适用于图像序列（视频）的处理。

这两篇文章的主要贡献可总结为：

1. 基于图像增强任务中常用的encoder-decoder结构的网络，采用时间维度上权值共享的方式，提出了一种带有循环连接的结构；其中，RFCN还将skip connection引入了其中；
2. 在多帧去噪、增强等方便，可以取得很好的效果。

在介绍网络架构前，首先总结一下一种好的用于图像序列处理的方法应该满足的条件。首先，该方法要尽可能适用于不同的输入图像数量，换句话说，也要有处理单帧输入图像的能力；此外，对于不同长度的图像序列，要能够自动地进行处理，而不是训练单独的网络；而相邻帧之间的非严格对齐现象，网络能够自动适应；最重要的是，这种以图像序列为输入的方法要能合理地利用帧与帧之间的冗余信息。

基于RNN的去噪网络代码可在我的github中查看~

z-bingo/Recurrent-Fully-Convolutional-Networks​github.com

2. 网络结构

2.1 单帧去噪网络（SFN）

图像去噪问题可以看做是一个结构化预测问题，网络的任务从含噪声的图像

中回归得到像素对齐的去噪后图像，即

,

通过最小化预测结果与真实干净图像之间的L1距离即可完成网络的训练，即

.

此时，只是达到了处理单帧输入图像的目标。

2.2 多帧去噪网络（MFN）

为了完成对多帧输入图像的处理，必须基于上述的SFN。将多帧图像序列

作为网络的输入，并对每一幅输入的含噪声图像都回归得到一幅去噪后的图像，即

,

此时，整体的训练目标为

网络结构图

借鉴RNN在自然语言处理及语音处理中的应用，基于SFN进行拓展，可得到MFN的结构如上图。其中，SFN的每个中间层特征会输入至MFN中，同时，MFN还会保留上一时刻各中间层的特征，以此来达到充分利用时间上冗余信息的目的。

上图是Deep Burst Denoising文章中的结构图，RFCN与上图略有区别，RFCN中，每个SFN都采用了带有skip connection的encoder-decoder网络，从而充分利用网络的高层和低层特征，如下图所示。

RFCN结构图

3. 实现与仿真

在Deep Burst Denoising中，将所述网络的应用定位了图像去噪和超分辨率（可拓展用于其他底层视觉任务），部分实验图如下所示：

在RFCN中，主要是为了解决提高黑暗环境下所拍照片的亮度，同时能够有效去除噪声，部分实验结果如下。

Reference

[1] Deep Burst Denoising

[2] End-to-End Denoising of Dark Burst Images Using Recurrent Fully Convolutional Networks