[Paper Note] Densely Residual Laplacian Super-Resolution

Abstract

超分辨率卷积神经网络最近证明了单个图像的高质量恢复。然而，现有算法通常需要非常深的架构和长的训练时间。此外，目前用于超分辨率的卷积神经网络无法利用多种尺度的特征并对它们进行相同的权衡，从而限制了它们的学习能力。在本次论述中，我们提出了一种紧凑而精确的超分辨率算法，即Densely Residual Laplacian Network (DRLN)）。所提出的网络在残余结构上采用级联残差，以允许低频信息的流动,以此来专注于学习中高级特征。此外，通过密集连接的残差块设置实现深度监督，这也有助于从高级复杂特征中学习。此外，我们建议拉普拉斯注意模拟关键特征，以了解特征映射之间的层间和层内依赖关系。此外，对低分辨率，噪声低分辨率和真实历史图像基准数据集的全面定量和定性评估表明，我们的DRLN算法在视觉和准确方面对最先进的方法表现出色。

Intro

主要贡献有四方面：

• 我们提出了密集连接的残差块和拉普拉斯注意网络，以实现精确的图像超分辨率。 我们的网络通过多快捷连接和多级表示实现了更好的性能
• 我们的新颖设计在残差架构上采用级联残差，可以帮助训练深层网络。 多样化的连接类型和DRLN中残差上的残差的级联有助于绕过足够的低频信息以学习更准确的表示
• 提出了拉普拉斯注意力机制，这个机制主要有两个目的：1）学习多个子带频率的特征，2）自适应不同尺度特征和模型特征依赖性。 拉普拉斯注意力进一步提高了我们网络的特征捕获能力
• 通过大量实验，我们证明DRLN是有效的
  有利于实现更好的性能

Model

模型由四部分构成：特征提取，残差上的级联残差，上采样和重建。假设低分辨率输入图像和超分辨率输出图像分别由$x$和$\hat{y}$表示。为了正式说明模型实现，设$f$为卷积层，$\tau$为非线性激活函数; 然后，我们定义了一个特征提取组件，它由一个卷积层组成，从低分辨率输入中提取原始特征。
$$f_0=H_f(x)\text{\hspace{1em}(1)}$$
$H_f(\cdot )$是应用于低分辨率图像的卷积算子,接下来，将$f_0$传递给残差模块上的级联残差，称为$H_{crir}$
$$f_r=H_{crir}\left(f_0\right)\text{\hspace{1em}(2)}$$
其中$f_r$是估计特征，$H_{crir}(\cdot )$是残差部件上的主要级联残差，它由级联在一起的密集残差拉普拉斯模块组成。 在我们的图像超分辨率知识方面，$H_{crir}$的输出特征是创新的。与RCAN相比，我们的方法深度并不重要[7]; 然而，它提供了广泛的感受野和最好的结果。 在此之后，从残差模块上的级联残差中提取的深度特征$f_r$通过上采样部件进行放大，
$$f_u=H_u\left(f_r\right)\text{\hspace{1em}(3)}$$
$H_u(\cdot )$ 和$f_u$ 各自表示上采样操作和上采样后的特征。虽然$H_u(\cdot ）$有多种选择，例如反卷积层[20]，或最近邻上采样卷积[38]; 我们选择ESPCN [39]跟随[5]，[7]的脚步。 接下来，$f_u$特征传到重建组件，该组件由一个卷积层组成，以预测超分辨RGB颜色通道作为输出，表示为
(4) y ^ = H r