【图像盲超】Deep Constrained Least Squares for Blind Image Super-Resolution 基于深度约束最小二乘的盲图像超分辨率算法

一句话总结：重新描述退化模型，由原来的先模糊再下采样，描述成先下采样再模糊。处理方法是：从原始核与LR图中估计一个模糊核用于去模糊（此时仍然是LR大小的图），得到去模糊的特征（clean LR），再进行上采样恢复SR。

摘要

本文提出了一种改进的退化模型和两个新的模型来解决盲图像超分辨率问题。该方法继承了盲SR的一般方法，改进了核估计方法和基于核的高分辨率图像恢复方法（PS：仍然是基于模糊核估计+非盲SR方法）。

更具体地说，我们首先重新表述退化模型，以便将去模糊核估计转移到低分辨率空间。在此基础上，引入了动态深线性滤波模块。它不需要为所有图像学习一个固定的核，而是可以根据输入（LR）自适应地生成去模糊核权值（kernel），并产生更稳健的核估计。然后，在重构核（reformulated kernel）和估计核（estimated kernel）的基础上，应用深度约束最小二乘滤波模块生成干净的特征。然后，将去模糊特征和LR图像特征馈入双路径结构化SR网络，并恢复最终的高分辨率结果。

退化模型的重新表述如下

之前的表述：

为LR图像，为HR图像，为模糊核，为下采样操作，为加性噪声（高斯白噪声）

是傅里叶变换，是傅里叶逆变换，一顿操作下来。原先的退化方式可以重新表述为：HR图像先进行下采样（clean LR），然后再进行模糊，最后加上噪声。 

Introduction

老规矩，Diss时间到

以前的盲SR方法通常采用两阶段框架来解决这一问题：基于LR图像的核估计和基于核的HR图像恢复。有两个缺点：

• 首先，由于欠采样步骤产生的模糊性，直接从LR图像估计HR空间的模糊核是困难的。而估计核与真实核之间的不匹配将导致显著的性能下降，甚至导致令人不快的伪影。
• 其次，核拉伸策略，其中向量化核的主分量被保留并被拉伸成与LR输入相同大小的退化映射。然而，向量化和主成分分析的过程破坏了核函数的空间关系，导致核函数的利用率不高。随后的重建网络需要付出巨大的努力来协调LR特征和HR特定核之间的不一致信息，从而限制了其在超分辨率图像中的性能。

开始王婆卖瓜

为此，我们提出了一种改进的学习策略来解决盲SR问题，从而自然地避免了上述缺陷。

具体地说，我们首先对退化模型进行重新描述，使得模糊核估计和图像上采样可以分离。

特别地，如图2所示，我们从原始核Kh和LR映象中得到一个新核。它将核估计转移到LR空间，可以在没有混叠模糊的情况下估计出新的核。在新退化的基础上，进一步引入动态深线性核(DDLK)，为核加速训练提供更多等价的最优解选择。随后，将一种新的深度约束最小二乘(DCLS)反卷积模块（PS：这里的反卷积指傅里叶反变换）应用于特征域以获得去模糊特征。DCLS对噪声具有很强的鲁棒性，可以为从模糊输入中获得清晰的图像/特征提供理论和原则性的指导。

此外，该算法不需要核的伸展策略，从而保留了核的空间关系信息。然后将去模糊的特征（PS：clean LR）送入上采样模块，恢复干净的HR图像。

贡献如下：

• 我们介绍了一个新的实用退化模型，这种退化保持了与经典模型的一致性，并允许我们从低分辨率空间可靠地估计模糊核。
• 我们提出用动态深线性核来代替单层核，这样核的最优解提供了更多等价的选择，更容易学习。
• 我们提出了一种新的反卷积模块DCLS，将其应用于通道方向去模糊的特征，以获得清晰的HR图像。（PS：个人感觉这个才是主要的贡献）

相关工作

Spectrum-to-kernel translation for accurate blind image super-resolution提出了一种频谱到核的网络，在频域估计模糊核比在空域估计模糊核更有利。

方法

三个主要组成部分：动态深度线性核估计模块和深度约束最小二乘核估计模块，以及基于LR空间特征的去模糊。

先说动态深度线性核估计模块

 以前的方法是采用回归网络来估计核 ，然后与GT核做L1 loss 来最小化差异。我们认为，由于盲SR问题的高度非凸性，这种单层核(估计核的所有权重都等于地面真实核)估计通常是困难和不稳定的，导致核不匹配和性能下降。

相反，我们提出了一种特定于图像的动态深线性核(DDLK)，它由一系列没有激活的线性卷积层组成。理论上，深线性网络具有无限等价的全局极小值，这使得我们可以找到许多不同的滤波参数来获得相同的正确解。此外，由于在网络中没有使用非线性，我们可以将深线性核解析地折叠为单层核（代码中使用的是mean函数，将3个通道平均到一个通道中）。

上图描述了估计4层动态深线性核的例子。滤波器设置为11×11、7×7、5×5和1×1，使感受野为21×21。我们首先根据LR图像生成每一层的滤波器，然后显式地将所有滤波器卷积成一个步长为1的窄核函数。在数学上，设hi表示第i层滤波器，我们可以得到如下的单层核函数

被初始化为一个1*1大小的值为1的张量，然后padding成21*21的大小，经过 11×11、7×7、5×5和1×1卷积之后，成为估计核 ，四个卷积权重可以认为是LR中包含的模糊核信息，再被重塑为显式的21*21的模糊核。仍然是通过最小化估计核 与新的真实模糊核  之间的L1损失来优化。

 深度约束最小二乘核估计模块

我们的目标是根据新的退化模型，基于LR图像和估计的核ˆk恢复HR图像。考虑到提供给LR图像的一组特征提取线性层{Gi}Li=1，我们可以重写公式在特征空间中，由

 让成为对应的去模糊特性。为了求解式(9)，我们最小化以下函数

 其中∇是一个光滑滤波器，可以用p表示，然后我们引入拉格朗日函数，定义为

 λ是拉格朗日乘子。计算式(11)对的导数并使其为0:

 我们可以得到干净的特征为

 其中Hi表示深度约束最小二乘反卷积(DCLS)算子，由

与标准图像空间(如RGB)不同，式(14)中的平滑滤波器P和变量λ在特征空间中可能不一致。或者，我们通过神经网络P预测不同通道的一组带有隐式拉格朗日乘子的平滑滤波器: 

则特征特有算子Hi可以定义为

 现在我们可以通过式(13)和式(16)得到清晰的特征。

 基于LR空间特征的去模糊

 双路径注意力网络

我们提出利用原始模糊特征作为附加路径来补偿估计核引入的伪影和误差，称为双路径注意网络(DPAN)。DPAN由多组双路径注意块(DPAB)组成，它同时接收去模糊特征和原始特征。

由于处理的附加路径是独立更新的，并用于与连接，以提供主要信息来细化反卷积特征。我们可以对其（）通道进行缩减，以加速训练和推理，如图4左侧所示的通道缩减(CR)操作。在反卷积的特征路径上，对原始特征进行聚合后，引入通道注意层。此外，我们在所有组和块上为每条路径添加一个剩余连接。

 我们可以将SR网络和核估计网络联合优化如下:

 其中，θk、θg分别为核估计网络和DCLS重构网络的参数。