论文笔记：CBDNet图像去噪网络

---

---

前言

    这是哈工大与香港理工大Lei Zhang老师课题组合作完成的论文，这两个团队在图像去噪方面一直走在前沿，许多经典工作都是他们提出的，如WNNM、DnCNN等。这一篇也是其在深度图像去噪方面的新的文章。与其前面的工作不同的是，以前的图像去噪大多使用合成数据，这篇文章研究了CNN在真实图像上的去噪效果，

传统深度卷积神经网络去噪方法的局限性

    1.大多数存在的盲去噪的方法都包括两步：噪声估计和非盲目去噪。
    2.深度卷积神经网络的效果依赖于训练数据，但真实噪声图像和干净图像太少，而合成的噪声图像与真实噪声图像相差太大。
    3.真实噪声的特征不能充分地被设计的噪声模型所刻画。
    4.非盲目去噪器（BM3D、FFDNet）对低估噪声等级敏感，而对高估噪声等级表现良好。即在噪声估计网络对噪声图像的噪声估计的噪声等级低于实际噪声等级时，去噪效果不好，但当噪声估计网络对噪声图像的噪声估计的噪声的呢估计高于实际噪声等级时去噪效果良好。

本篇论文的改进方法

    1.针对第一点，同样分为两个子网络：噪声估计子网络和非盲目去噪子网络
    2.针对第二点和第三点，论文选择同时用合成噪声图像和真实噪声图像交替训练网络 。
    3.针对第三点，论文提出了一个更接近真实噪声的模型，既考虑了信号相关的噪声，又考虑了摄像机的处理流水线中的噪声。
    4.针对第四点，论文充分利用BM3D对高估计噪声等级表现良好的特性，选择用非对称的方法来学习，即的那个噪声估计网络高估噪声时，给与一个较小的惩罚，而的那个网络低估噪声等级时，给予较大的惩罚。

其主要贡献在于以下几点：

• 提出了一个更加真实的噪声模型，其考虑了信号依赖噪声和ISP流程对噪声的影响，展示了图像噪声模型在真实噪声图像中起着关键作用。
• 提出了CBDNet模型，其包括了一个噪声估计子网络和一个非盲去噪子网络，可以实现图像的盲去噪（即未知噪声水平）。
• 提出了非对称学习（asymmetric learning）的损失函数，并允许用户交互式调整去噪结果，增强了去噪结果的鲁棒性。
• 将合成噪声图像与真实噪声图像一起用于网络的训练，提升网络的去噪效果和泛化能力。

---

一、论文介绍

    CBDNet这篇文章针对的则是模型在真实噪声上效果差的问题，使得去噪不再局限于较理想化的高斯噪声。传统CNN去噪模型的效果很大程度上取决于合成噪声和实际噪声的分布是否匹配，于是本文的去噪模型分为两阶段——第一阶段进行噪声估计，第二阶段将噪声估计结果与噪声图一并作为输入进行非盲去噪。

噪声模型

对噪声进行建模是为了生成去噪网络的训练集，建模越趋近真实噪声后续去噪效果也便越好。对一个真是图像来说，除了高斯噪声，图片的其它噪声更加复杂，并且是信号依赖的。

• 给定一个干净图片 x，一个更加真实的噪声模型$n(x)\sim \mathcal{N}(0,\sigma (y))$可以表示为：${\sigma }^2(x)=x\cdot {\sigma }_s^2+{\sigma }_c^2$。本文用的是异方差高斯分布，方差分成了依赖于信号的部分和平稳噪声的部分，其中$n_s$是信号依赖的噪声,$n_c$是平稳的静态噪声分量。静态噪声分量$n_c$常常建模为方差为${\sigma }_c^2$的高斯白噪声，$n_s$则和图像的像素值有关，比如$x(i)\cdot {\sigma }_s^2$。
• 除此之外，文章还进一步考虑了相机内ISP流程，其导致了下面的信号依赖和颜色通道依赖的噪声模型$y=M^{-1}(M(f(L+n(x))))$。其中，$y$表示合成的噪声图像，$f(\cdot )$代表了相机响应函数（CRF），其将辐照度L转化为原始干净图像x。$M(\cdot )$表示将sRGB图像转化为Bayer图像的函数，$M^{-1}(\cdot )$表示去马赛克函数，原本用于去马赛克的插值方法，用它的目的是使噪声空间和颜色相关，从而增加噪声的复杂性，去马赛克函数中的线性插值运算涉及到了不同颜色通道的像素，所以合成的噪声是通道依赖的。
• 此外，为了扩展到对压缩图片的处理，我们把 JPEG 压缩也考虑进合成图片的生成过程。$y=JPEG(M^{-1}(M(f(L+n(x)))))$。
• 对于噪声RAW图像，采用第一个公式合成图像。对于噪声未压缩图像，采用第二个公式来合成图像。对于噪声压缩图像，采用第三个公式来合成图像。

网络结构

整体架构可以看到，网络由一个 全卷积网络FCN，和一个 UNet 组成。
CBDNet包含了两个子网络：噪声估计子网络和非盲去噪子网络。

•     首先，噪声估计子网络将噪声观测图像y转换为估计的噪声水平图$\hat{\sigma }(y)$。然后，非盲去噪子网络将$y$和$\hat{\sigma }(y)$作为输入得到最终的去噪结果$\hat{x}$。除此之外，噪声估计子网络允许用户在估计的噪声水平图$\hat{\sigma }(y)$输入到非盲去噪子网络之前对应进行调整。文章提出了一种简单的策略$\hat{\varrho }=\sigma$