Adaptive Consistency Prior based Deep Network for Image Denoising

这是2021cvpr的一篇去噪的文章，讲的是利用神经网络来实现传统模型，把传统算法模型中的一些函数用神经网络代替。

一、模型架构

它提出了一个自适应一致性先验的去噪框架(Adaptive Consistency Prior,ACP),首先给出一致性先验模型：

为了方便讨论将上式改写为：

可以理解这是先将图像x先用线性相似性矩阵W进行滤波，然后拟合偏差（x-Wx)再被I一致约束。

然后他们进行了改进：

1、他们受BM3D启发，认为把图像变换到高维空间更多的特征能更有利于细节恢复，所以先利用函数将x转换到高维空间

2、线性相似性矩阵W可能过于平滑图像细节，所以他们提出利用一个自适应和非线性滤波函数代替W

3、一致性的约束I，可能没有自适应的好，所以他们提出利用可靠性矩阵代替I来约束(x-Wx)

提出了本文的自适应一致性先验（ACP）：

 然后利用了泰勒展开近似简化，再加上一个惩罚项

 得到基于ACP的去噪算法：

 然后他们给出一个定理，利用这个定理就可以将（6）简化求解：

 到此为止都是一种传统的去噪算法。

-------------------------------------------------------------

他们觉得这种传统方法的参数啊不好设定，很费事还不一定好，所以他们提出利用神经网络来代替上面模型中的一些函数和操作。

1、对于函数，提出了FD（Feature Domain module）模块

本文中是两层卷积网络，夹着一个激活层，将图像变换到高维

2、对于，提出NLO子网络

采用U型网络，编码-解码

 

3、对于（7）中的，提出了重构模块（reconstruction module）

与FD模块类似，也是几层卷积层

4、对于又提出了DEAM模型

 模型的作用可以看作，输入是两个不同level的图像，输出是两个level图像的加权平均

在这里用到两次DEAM，一个是NLO外面，一个是NLO子网络里面，略有差别，但都是一种加权平均作用。

整个模型框架如下：

 为了让网络结构和训练更加紧凑，最后的模型中上图中红框内容舍去了。

 二、实验

在合成图像上实验：

给图像加入高斯白噪声（AWGN），为了增强数据，把图像随机crop 128*128的patch，旋转180。作者在代码中给出了15，25，50噪声水平下的三个模型，感觉有点针对性，不太好。

在真实噪声图像上：

在SIDD，RENOIR图像数据上训练。

SIDD和DnD数据集上，可以将自己的结果传到他们的官网，然后会给你返回PSNR，SSIM结果。