Wavelet-SRNet: A Wavelet-based CNN for Multi-scale Face Super Resolution

1、引言

主要思想
一种基于小波CNN的多尺度人脸超分，当时大多数人脸超分辨方法都是通过CNN来实现。当处理极低分辨率的图像时，基于CNN的方法性能明显降低；同时这些方法得到的输出过于平滑，损失了一些细节信息。
为了解决这个问题，Wavelet-SRNet这篇论文提出了一个基于小波的CNN方法，此方法可以将16×16甚至更小的低分辨率人脸图像解析为原图像的几倍大小（2×，4×，8×，16×）。
文本贡献
1、针对基于CNN的人脸SR问题，提出了一种基于小波的新方法。据我们所知，这是在深度学习框架中将单幅图像SR转换为小波系数预测任务的首次尝试-尽管存在许多基于小波的SR研究。
2、提出了一种灵活可扩展的全卷积神经网络，以充分利用小波变换。它可以应用于具有多个放大系数的不同输入分辨率的人脸。

背景：现存人脸超分方法处理非常低的分辨率图像时，性能低并且会损失细节信息；
方法：提出了一个基于小波的CNN方法，学习预测LR对应的HR小波系数序列，然后再从中重构HR图像。
结果：定性和定量地探索多尺度人脸超分辨率，尤其是在非常低的输入分辨率下。实验结果表明，本文提出的方法优于最新的人脸SR方法。

2、网络结构

提出了一种用于人脸超分辨率的新颖框架，该框架可预测一系列相应的小波系数，而不是直接预测HR图像。提出了一种可扩展的全卷积神经网络（WaveletSRNet）用于多尺度人脸超分辨率。
本文的方法基于小波变换，更具体地说是基于小波包变换（WPT），它将图像分解为相同大小的小波系数序列.如图1所示的不同level的小波包分解，近似系数（the approximation coefficients）包含图像的全局拓扑信息，细节系数（ detail coefficients）显示了图像的纹理信息。

图1 (a)原始128×128高分辨率人脸图像及其(b)1级、©2级、(d)3级全小波包分解图像。

Wavelet-SRNet选用最简单的小波：haar小波，此小波足以描述不同频率的人脸信息。另外，使用快速小波变换（2-D fast wavelet transform ，FWT)）来计算haar小波。计算过程如图2所示：

图2 快速小波变换(FWT)图解。FWT迭代地使用低通和高通分解填充来计算小波系数。

基于小波的超分辨率网络（Wavelet-SRNet）的体系结构由三个子网络组成：嵌入、小波预测、重构网络。嵌入网络将低分辨率输入表示为一组特征图。然后，小波预测网络对相应的小波系数图像进行估计。最后，重构网络从这些系数图像中重建出高分辨率的图像。

图3 基于小波的超分辨率网络(Wavelet-SRNet)的体系结构。所有卷积层都具有相同的滤波图大小3x3，并且它们下面的每个数字定义了它们各自的通道大小。在嵌入和小波预测网络中，每两个卷积层(第一层除外)之间存在跳跃连接。

整体流程：

• 将一张低分辨率的人脸图像（LR Input）输入到embedding net中得到一组feature map；
• 将这组embedded features输入到wavelet prediction net的各个并行的独立子网中得到Nw组小波系数。wavelet prediction net中的子网数量Nw 可根据需求进行调整；
• reconstruction net根据多组小波系数重建得到高分辨率图像。
  三个阶段的输出关系如下：
  

3、损失函数

1、full-image loss （MSE loss）均方误差

超分辨率方法中最常使用MSE损失函数，MSE损失函数是在图像空间上的一个限制，MSE几乎不能获取到高频纹理细节信息。
Wavelet-SRNet的full-image loss 一方面是在图像空间上的限制，另一方面也能在平滑度和纹理细节上达到一个平衡。

2、两种基于小波的损失：小波预测损失和纹理损失。

wavelet prediction loss相当于在小波域上的加权MSE

texture loss是为了避免高频小波系数收敛为0。因此避免了纹理细节的下降。

总体损失函数：

4、实验结果

在非常低的输入分辨率上与最先进的方法进行比较。在放大倍数为8的16×16和8×8两种极低分辨率的情况下，我们与现有的方法进行了定性的比较，如图4所示。在CelebA和Helen两个测试集上，我们使用平均PSNR(DB)和SSIM对Wavelet-SRNet进行了定量评估，如图5所示。

图4 在非常低的输入分辨率上与最先进的方法进行比较。顶部三行和底部三行的输入分辨率分别为16×16和8×8。放大倍数都是8倍。

图5 CelebA和Helen测试集上的定量结果。