Wavelet-Based Dual Recursive Network for Image Super-Resolution 《基于小波变换的图像超分辨率双递归网络》论文解读

本文是一篇在2022年在IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS杂志上发表的论文，基于小波变换的图像超分辨率双递归网络。首先这个期刊是比较注重神经网络基本方法的一个期刊，最近想认真研究一下神经网络的基础知识，所以找了几篇这个期刊的图像超分辨率的文章来看。

1.小波变换的基础知识

小波变换是将图像信号分解为由原始小波位移和缩放之后的一组小波。通过伸缩平移运算，对信号逐步进行多尺度细化，最终达到高频处时间细分、低频处频率细分，能自动适应时频信号分析的要求，从而可以聚焦到图像的任意细节。

怎么理解这个呢？

我们大家肯定都学过傅里叶变换，那我们做类比，先从傅里叶变换入手：

图像的傅里叶变换是将图像信号分解为各种不同频率的正弦波，傅里叶变换对如下：

 傅里叶变换是将时域不好处理的信号转换到频域进行处理，通过变换将信号分解为基波、一次谐波、二次谐波......，那么类似，我们想要信号的局部深层信息，就将信号转换到小波域进行处理，最终的目标是将信号的低频成分与高频成分分开，分别进行单独处理。

  小波指的是一种能量在时域非常集中的波，它的能量有限，都集中在某一点附近，而且积分的值为零，这说明它与傅里叶波一样是正交波。

再来直观地感受一下小波变换：

图1 时域信号

图2 傅里叶变换

图3 小波变换

 图2 傅里叶变换只能看到图像的频率成分，而图2 小波变换不仅可以看到信号中有哪些频率，还可以看到不同的频率成分在什么时间出现。傅里叶变换类似棱镜，可以将不同的信号分解为不同的谐波分量。小波变换类似于显微镜，不仅知道信号中有哪些成分，还可以知道各种成分在什么位置出现。

 小波变换的函数有很多，本文选取Haar小波函数进行变换：

通过哈尔小波变换得到N个小波系数，二维离散小波变换输入的是二维矩阵，每个步骤输出的是近似图像，水平细节，垂直细节和对角细节，从水平和竖直两个方向进行低通和高通滤波，如图：

很明显，x是我们输入的二维信号（图像），首先经过水平的滤波器，分为高通滤波器和低通滤波器，然后经过竖直的滤波器，也分为高通和低通 ，最后得到的就是我们需要的信息。D为对角信息，V为水平高频信息，H为竖直高频信息，A为低频信息。对于不同的成分信息，小波域有不同的处理办法。低频求均值，高频求差值。

通过图像直观感受一下：a为输入图像，b为经过一次滤波器处理后的，将图像分为四个成分，c是继续经过滤波器处理。

小波变换步骤：

1.把小波w(t)和原函数f(t)的开始部分进行比较，计算系数C。系数C表示该部分函数与小波的相似程度。

2.把小波向右移k单位，得到小波w(t-k)，重复1。重复该步骤直至函数f结束.

3.扩展小波w(t)，得到小波w(t/2)，重复步骤1,2.

4.不断扩展小波，重复1,2,3.
 

2.论文解读

2.1摘要

尽管在单图像超分辨率（SISR）方面取得了显著进展，但由于深度学习方法需要大量计算，特别是对于移动设备，深度学习方法无法轻松应用于实际应用。针对参数更少、推理速度更快的SISR方法，我们提出了一种高效、省时的小波变换网络架构，其中图像超分辨率（SR）处理在小波域中进行。与现有用输入低分辨率（LR）图像直接推断高分辨率（HR）图像的方法不同，我们的方法首先将LR图像分解为一系列小波系数（WC），网络学习预测相应的HR系列，然后重建HR图像。特别是为了进一步增强WCS与图像深度特征的关系，我们提出了两个新模块[小波特征映射块（WFMB）和小波系数重构块（WCRB）]和双递归框架的联合学习策略，从而形成WCS预测模型，实现HR WC的高效准确重建。 实验结果表明，所提方法的性能优于现有方法，超过2×降低模型参数和计算复杂性。

通过摘要我们可以理出本文的大概思路:主要就是提出了两个模块——小波特征映射网络（WFMN）和小波系数重建网络（WCRN）。

WFMN旨在将深特征空间中从LR到HR的小波特征映射，并将更高频率的小波特征传输到WCRN，WCRN从接收到的小波特征中重建HR的WC（小波系数）。

2.2本文的主要贡献

（1）提出了一种基于小波变换的准确、省时的图像超分辨率框架，该框架对具有双递归主题的图像进行超分辨率解析。通过描述小波域中的高频细节，可以有效地指导图像特征图的提取。

（2）提出了两个子网来实现从深度特征图到WC的变换和逆变换，包括WFMN和WCRN。两者的结合可以充分利用WT，以丰富的高频重建HR图像。

（3）进行了全面的实验，以分析不同设置下的框架。我们具体讨论了WT图像超分辨任务的影响，包括有或没有WT，不同的小波分解水平和基于WT的方法。

（4）提出的系统是一个端到端的可训练模型，不需要任何预训练阶段。实验结果也表明，所提方法在参数少、计算复杂度低等优点下优于现有方法。

2.3WDRN方法的流程

WFM将WC投射到深度特征空间中，实现从LR小波特征到HR小波特征的映射。WCR不断接收来自WFM的小波特征，并对HR的WC进行重建。WFMN和WCRN的详细信息如图所示。提出集成模块，通过对每个WCRN预测的WC求和来获得更准确的HR WC。

2.3.1小波特征映射网络（WFMN）

小波特征映射网络：WFMN是一个多块级联网络。每个小波特征映射块（WFMB）有两个输入：一个是来自第一个卷积层的F0，另一个是最后一个块的输出Fn−1。WFMB 的输出被发送到 WCRN 和下一个 WFMB。WFMB中的非线性映射过程可分为三个阶段：Maping1（M1），Maping2（M2）和CA。M1和M2具有相同的结构，由三个级联卷积层实现。应该注意的是，第一和第二卷积层的输出是串联的，然后发送到第三卷积层。这三个卷积层的内核大小分别设置为 3 × 3、1 × 1 和 1 × 1。

2.3.2小波系数重建网络（WCRN）

小波系数重建网络：WCRN也是一个由级联小波系数重建模块（WCRB）组成的网络，用于对HR的WC进行精确重建。 与WFMB类似，每个WCRB也有两个输入和输出：一个输入是最后一个WCRB重建的WCS Cn−1，另一个输入Fn是WFMN预测的HR小波特征。WCRB首先从Fn中回收WCS的高频分量，然后将其添加到Cn−1中得到WCS Cn，这是当前WCRB预测的最终结果。为了提高WC的准确性，我们通过类似于加权和的操作实现了这个函数。在这里，我们将每个WCRB的WC进行卷积，并直接将这些在网络末端处理 WC。卷积的核大小设置为 1 × 1，这可以看作是对每个小波图像的全局调整。

2.4 结论

在本文中，提出了一种高效且省时的基于WT的SISR网络架构，其中网络结构设计为WC预测模型，并将WC用作输入和输出图像的表示。这种结构从信道数、卷积滤波器和特征尺度三个方面减少了网络的参数和计算。与现有技术进行了广泛的比较实验，证明了所建立方法的优点，定量和定性结果表明，该方法是一种快速、轻便、准确的超分辨率方法。

3 我的总结

（1）首先说明一下，我在看文章的时候并没有去看文章的实验部分，因为我并没有找到源程序，也没有去跑。如果有感兴趣的小伙伴可以去深入研究一下，按着实验部分可以试着跑一下程序。

（2）文章讲了基于小波变换的图像超分领域，在作者提出的两个网络结构中其实也没有严格的公式推导或者理论说明网络设计的原因。

论文链接：https://ieeexplore.ieee.org/document/9241234

参考资料：https://blog.csdn.net/qq_30815237/article/details/89704855