《Progressive Training of Multi-level Wavelet Residual Networks for Image Denoising》阅读笔记

《Progressive Training of Multi-level Wavelet Residual Networks for Image Denoising》

---

摘要

       近年来，目睹了深度卷积神经网络（CNN）在图像去噪方面的巨大成功。尽管更深的网络和更大的模型容量通常会提高性能，但是训练非常深的图像去噪网络仍然是一个具有挑战性的实际问题。 以多级小波-CNN（MWCNN）为例，我们从经验上发现，通过增加小波分解级别或增加每个级别内的卷积层，都无法显着提高去噪性能。 为了解决这个问题，本文提出了一种多级小波残差网络（MWRN）架构以及一种渐进训练（PTMWRN）方案来提高图像去噪性能。 与MWCNN相比，我们的MWRN在每个级别的离散小波变换（DWT）之后和逆离散小波变换（IDWT）之前引入了几个残差块。 为了减轻训练难度，通过要求中间输出逼近地面真实图像的相应小波子带，将比例特定的损失应用于MWRN的每个级别。为了确保特定比例尺损失的有效性，我们还将噪声图像的小波子带作为编码器每个比例尺度的输入。 此外，采用渐进式训练方案以更好地学习MWRN，方法是从训练最低级别的MWRN开始，然后逐步训练较高的级别，以为去噪结果带来更多细节。 在合成噪声和现实噪声图像上进行的实验表明，我们的PT-MWRN在定量指标和视觉质量方面均优于最新的降噪方法。
关键词-图像去噪，卷积神经网络，小波变换，真实世界的嘈杂摄影。

1.介绍

       在许多实际应用中，图像降噪是图像处理和低级视觉中一项基本而活跃的任务。 一方面，已经开发出许多方法[1]，[2]，[3]，[4]来处理合成噪声，例如具有已知噪声方差σ2的加性高斯白噪声（AWGN）。 随着深度学习的到来，卷积神经网络（CNN）[5]，[6]，[7]已显示出对图像降噪的巨大希望，并显着提高了降噪性能。 另一方面，与合成噪声相比，真实世界的图像噪声通常要复杂得多。 近年来，通过建模复杂的真实噪声[8]，[9]，获取噪声和几乎无噪声的图像对[10]，[ 11]，或以无监督或自监督的方式学习降噪模型[12]，[13]，[14]。
尽管已经取得了显着的进步，但是训练高性能的深度去噪网络仍然是一个具有挑战性的问题。 一种提高去噪性能的直接解决方案是扩大深层网络容量。 但是，仅增加网络深度和宽度并不能总能改善性能。 例如，表1通过增加小波分解级别，每个级别的卷积层和网络宽度，列出了多级waveletCNN（MWCNN）[7]的几种变体的结果。
       与原始MWCNN [7]相比，具有更多分解级别和更多卷积层的MWCNN变体的定量增益非常有限，即，当σ= 25时，BSD68 [15]上的PSNR最多为0.03 dB。 另一方面，通过将网络宽度增加到其1.5倍，可以在BSD68上获得0.04 dB的增益，但是进一步增加网络宽度只能带来0.01 dB的增益。 因此，训练具有高模型容量的深度去噪网络仍然是一个具有挑战性的问题，并且无法通过增加网络深度和宽度来显着改善去噪性能。
        在本文中，我们通过在网络架构，损失函数和训练方案方面改进了MWCNN，从而开发了更深入有效的网络，即多级小波残差网络（MWRN）。 在MWCNN [7]中，在每个级别的小波变换（DWT）之后和逆离散小波变换（IDWT）之前，部署了四个卷积层。然而，简单地堆叠更多的卷积层会遭受性能下降的问题[16]。 即，随着网络深度的增加，甚至训练误差也可能停止减小或开始增大。 根据[16]，我们用几个残差块（即本工作中的四个）替换MWCNN的每个级别（即比例）中的最后三个卷积层，从而形成了我们的MWRN体系结构。
       但是，引入残差块并不能完全解决训练难度问题。 在[17]中，Lee等人。 结果表明，在隐藏层上部署中间监督对于提高模型的透明度和减轻训练难度是有效的。 考虑到MWRN的多尺度特征，自然而然地限制MWRN各个级别的中间输出，以逼近地面真实图像的相应小波子带。 因此，我们建议将特定于规模的损失部署到MWRN的每个级别。 尽管如此，我们凭经验发现，当我们仅将嘈杂的图像作为MWRN第一层的输入时，缩放比损失对降噪性能有中等程度的好处。 作为一种补救措施，对于编码器中的每个小波分解级别，我们也将带噪图像的小波子带作为输入，并应用额外的卷积层将其与较高比例的特征图组合。
       我们进一步提出了一种有效学习MWRN的渐进式训练计划，从而形成了PT-MWRN方法。由于将噪声图像作为每个分解级别的输入，因此可以预先训练较低级别的MWRN而无需较高级别的训练。 因此，我们首先训练最低尺度的MWRN，然后再训练较高尺度的MWRN，以为去噪结果带来更多细节。 渐进式训练从浅层网络的预训练开始。 然后，可以通过使用预先训练的参数初始化较低的尺度来逐步训练MWRN的较高尺度。 因此，渐进训练也有利于减轻更深的去噪网络的训练。 随着MWRN的引入，特定比例的损失和渐进式训练，PT-MWRN可以显着提高MWCNN的去噪性能。 从表I可以看出，在Set12 / BSD68 / Urban100数据集上，分别去除σ= 25的AWGN时，PTMWRN相对于MWCNN实现了0.17 / 0.10 / 0.34 dB的PSNR增益。

       进行了广泛的实验，以评估我们的PT-MWRN的灰度和彩色图像降噪效果。 消融研究表明，残差块，特定比例的损失和渐进训练均可用于减轻MWRN的训练，并有效改善降噪性能。 对于高斯降噪，PT-MWRN优于最新的降噪方法，例如BM3D [4]，TNRD [18]，DnCNN [5]，IRCNN [19]，RED [6]，MemNet [ 20]，用于灰度图像的N3Net [21]，NLRN [22]和MWCNN [7]，以及CBM3D [4]，IRCNN [19]，CDnCNN [5]，FFDNet [23]，DHDN [24]和CMWCNN [7] ]用于彩色图像。 当有成对的真实噪声图像时，可以轻松扩展PT-MWRN以处理真实噪声图像。 达姆施塔特噪声数据集（DND）[10]和智能手机图像降噪数据集（SIDD）[11]的结果表明，我们的PT-MWRN在现实的嘈杂照片上达到了最新的降噪性能。 通常，本文的主要贡献可归纳如下：
       •提出了更深的多级小波残差网络（MWRN），以实现有效的图像降噪。 与MWCNN相比，在编码器和解码器的每个级别中都引入了残差块，并且在编码器中，每个分解级别将带噪图像的小波子带作为输入。
        •进一步引入了针对特定比例的损失和渐进式训练，以简化MWRN的训练并改善降噪性能，从而形成了PT-MWRN。
        •定量和定性结果清楚地表明，我们的PT-MWRN在针对灰度和彩色图像的高斯去噪以及处理真实世界的噪点照片方面均优于最新方法。
        本文的其余部分安排如下。 第二部分简要概述了用于处理AWGN