《Deep Universal Blind Image Denoising》深度通用盲去噪阅读笔记

---

论文开篇介绍传统上处理图像去噪的方式缺陷，比如深度神经网络CNNs的图像先验去噪和已知噪声去噪很强大，但在盲目去噪方面缺乏灵活实用性，需要大量的计算时间，且不能利用大规模的外部数据集….以此引入了基于CNN的盲去噪方法，该方法利用了基于贝叶斯视角的两种方法，将盲去噪问题划分为子问题的方式来去噪。最终设计出的网络可以凭着中等数量的普遍CNN参数，成功地去除盲目的和真实世界的噪声。这里的“盲”很大程度是对于噪音的估计。
贝叶斯视角：所有参数被视为随机变量。研究者对于这些随机变量可以提供一定的先验信息，结合先验信息和数据似然函数，就可以得到参数的后验分布，而通过马尔科夫链蒙特卡洛算法，可以从后验分布中迭代地抽取大量的样本近似地反映后验分布，在该算法达到收敛的前提下，可以利用抽取的样本进行参数估计。
图像去噪的目的是从观测到的含噪图像中恢复出潜在的干净图像。整体噪声是多个不同噪声源的累积，如捕捉传感器、摄像机内管道、数据传输媒体等。这里主要就是提到噪声图像一般的表达，一般的处理也是利用贝叶斯理论进行处理，这里提到贝叶斯，主要是为了阐述“数据先验”的概念，在这里更多的就是在说噪声的已知。处理已知噪声的图像的方法很多，但是很多方法的缺憾就是因为一个网络被训练去噪一个特定级别的噪声方差，那么这个网络将不能很好地工作于一个看不见的噪声级别。所以需要一个网络模型来处理未知噪声水平的图像，即盲去噪。又因为大多数网络模型带有深度学习的强先验，再引入其他先验比较困难，因此作者提出了基于卷积神经网络(CNN)的通用盲去噪器。
它利用了MAP(最大后验概率)推理的优势和深度学习的力量。DUBD的设计主要考虑如何在不损害网络功能的前提下将人类的知识插入到深度学习框架中。所提出的DUBD可以在不知道噪声级别的情况下处理大范围的噪声级和空间变化的噪声。此外，作者的方法可以解决频谱变化噪声，DUBD这个网络模型处理的效果优于其他方法，包括在盲降噪和非盲降噪方面，但所需的参数数量与其他方法相当。
MAP推理：利用经验数据获得对未观测量的点态估计。它扩充了优化的目标函数，其中融合了预估计量的先验分布信息，所以最大后验估计可以看作是正则化（regularized）的最大似然估计。
论文主要创新点：
作者提出了一种基于cnn的通用盲降噪器，可以处理广泛的噪声级别，包括空间和频谱变化的噪声。
作者的DUBD可以明确地整合先验知识，这进一步提高了网络的性能。
作者的DUBD以相当数量的参数优于其他降噪器，这最终带来了更好的实用性。
与其他方法相比，作者的DUBD可以应用于真实世界的噪声图像，也表现出了出色的性能
MAP推理：利用经验数据获得对未观测量的点态估计。它扩充了优化的目标函数，其中融合了预估计量的先验分布信息，所以最大后验估计可以看作是正则化（regularized）的最大似然估计。这式子就是后面引入的随机变量c的原理，随机变量c包含基于人类知识的先验；第（4）个公式是随机变量c的边际表达式，积分通常难以处理，于是采取近似积分，使用c的点估计，来求解最大后验估计。
此时，形式上，最大后验推理问题重新表述为求解两个子问题，p(c|y)是后验概率密度，而gθ(·)和fφ(·) 是带有参数θ和φ的CNN网络构造形式。贝叶斯主要就是通过获取的数据加上先验知识得出后验概率进行统计推断，即是之前问题的概率来考虑后面的问题的概率。贝叶斯方法就是利用你的先验知识，结合当前获得数据，来更新关于未知参数的信息，以此获得参数修订后的可能性，也就是后验概率。贝叶斯方法的核心就是通过先验知识不断更新后验概率密度来分析参数的可能性分布。根据先验知识引入合适的c，设计了可调CNN网络。
关于c的选择和对点估计的网络构造，首先p(c|y)后验概率密度是一个有尖峰的单峰的情况，因为一般来说，给定的一个噪声图像的噪声是确定的，这是处理盲的情况，非盲的时候就通过引入的先验c来解决(8)公式这个子问题，也可以通过手动控制c这个参数，来调节网络达到更好的输出，同时这个网络架构，能在未知且空间变化的噪声方差下估计给定图像的噪声水平。
条件估计网络(CENet)的网络结构。作者对所有的层都采用3个3个卷积层，除了最后一个通道外通道数为64个。作者利用跨步卷积层来减小特征图的空间尺寸。在最后阶段，作者用双内插的方法将的空间大小恢复到与输入图像相同的大小。
在这个架构处理上，除了引入的先验c，还有一个先验处理，就是噪音水平变化设计成空间上平滑的。使用跨步卷积减小特征映射大小（降低计算复杂度），并在最后阶段应用双线性插值，而不是使用平滑项，这样就不需要调整超参数来平衡原始损失和正则化项。
超参数：超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。
输入是一幅带有噪声的图像，并添加了一个额外的可调参数c来模拟arg max (x|y,\hat{\mathbit{c}})，其设计直接反映了fφ(y;\ \hat{\mathbit{c}})，去噪网络主要由两部分组成：主干和条件编码器。\mathbit{F}\mathbit{i}和\mathbit{F}\mathbit{o}分别是变换前后的特征映射，⊗表示元素乘法。在CATBlock中，通过条件编码的仿射参数γ和β的仿射变换调整最后一个卷积层的输出特征映射，并与其他CATBlock共享编码参数。
实验时，提取96 × 96大小的patch用于训练，采用ADAM优化器，初始学习速率设置为2 × 10^−4，在训练过程中减半一次。
可调降噪器的网络结构。作者采用3x3个卷积层作为网络的主干，D块条件仿射变换块(CATBlocks)和N块剩余块(ResBlocks)。此外，主杆的通道数为64，条件编码器采用了11个卷积层。在条件编码器中，第一层信道数为128，其余为64。
CATBlock包括N个残留块(ResBlocks)级联，如图右上角所示。另外，作者采用了残差学习方案，它是学习噪声而不是清洁图像本身。CATBlock和ResBlocks采用了residual跳连接，绕过短的信息，直接处理长的那些信息。
看图中可以看出，condition编码器，网络结构是一个简单的两层1×1卷积。它取条件变量和输出条件编码参数γ、β，这些参数会根据实际情况调整特征值。
作者在三个著名的彩色图像去噪数据集CBSD68[27]、Kodak24和Urban100[26]上测试了噪声等级σ = 10,30,50,70的图像去噪性能，主要针对彩色图像去噪。
与几种从传统非学习方法到基于cnn的最新前沿的去噪算法进行比较:CBM3D，TNRD，RED ，MemNet。
这是σ = 50时，各种去噪算法下去噪的可视化例子。如图最后两张是DUBD的两个结果，即DUBD- NB和DUBD- B。DUBD-NB是一个非盲模型(假设噪声水平是已知)，因此输出对应fφ(y;c); 另一方面，DUBD- B是一个盲去噪模型，降噪器从CENet获取估计的c，因此输出为fφ(y;\ \hat{c})。
通过彩色图像上的PSNR（峰值信噪比）来评估结果，一般来说，峰值信噪比越大，图像失真越小，将几种方法的参数与性能进行了可视化比较。尽管在比较中都包括了盲和非盲，但DUBD在参数数量相当的情况下表现出了出色的性能。
现实图像的噪声大都不是均匀的，不同的颜色通道的噪声水平是不同的，因此DUBD能够处理频谱变化和空间变化的噪声。输入一个如图6(d)所示，其中每个颜色通道的噪声破坏程度不同。这里b通道的噪声腐蚀较严重，r通道的噪声腐蚀较轻。去噪后b通道中的噪声(出现在图像的蓝色区域)仍然存在，而红鸟的细节缺失。
在模型设计中，控制c调节去噪强度，如图8所示，通过改变可调降噪器的输入c来输入一幅被高斯噪声破坏的图像(σ = 30)，PSNR结果在c = 31处达到峰值，接近真σ。
真实噪声很大程度偏离了第一段所提到的n，AWGN；验证网络通过可能的修改或再训练，是否也能很好地适应现实世界的噪声是很重要的，噪声来自于传感器，传到了相机管道，因此其依赖于相邻像素。讲第2点。
DUBD-R通过用简单的平均池化方法替代了CENet，与基线模型相比，DUBD-R的参数数量更少。
表4是DND基准的平均PSNR和SSIM结果。最好的结果用红色标出，次之的用蓝色标出。
在本文中，提出了一种通用的盲降噪器，它可以降低来自各种环境的噪声，包括在真实环境中遇到的噪声。基于分治的思想，将原去噪MAP问题分解为两个推理子问题，并设计新的CNN架构作为子问题求解器。具体地，引入了一个辅助随机变量来划分和近似原问题。此外，在选择辅助随机变量时，以增强从大规模数据集中学到了隐式先验。通过实验，证明了DUBD方法在性能与复杂度方面是一种有效的方法，并且在各种噪声破坏情况下（例如在没有方差信息的情况下，在频谱和空间上变化的噪声）显示了令人鼓舞的结果。因此，它还可以有效抵抗摄像机产生的真实噪声。