【论文阅读】Cross-SRN: Structure-Preserving Super-Resolution Network with Cross Convolution

---

论文地址

1、论文
2、源码

---

摘要

将低分辨率 (LR) 图像恢复为具有正确和清晰细节的超分辨率 (SR) 图像具有挑战性。现有的深度学习工作几乎忽略了图像固有的结构信息，而这些信息对 SR 结果的视觉感知起着重要作用。在本文中，我们设计了一个分层特征开发网络，以多尺度特征融合的方式探测和保存结构信息。首先，我们提出了一种基于传统边缘检测器的交叉卷积来定位和表示边缘特征。然后，交叉卷积块（CCB）被设计为具有特征归一化和通道注意力以考虑特征的内在相关性。最后，我们利用多尺度特征融合组 (MFFG) 嵌入交叉卷积块，并分层开发不同尺度的结构特征关系，调用名为 Cross-SRN 的轻量级结构保持网络。实验结果表明，Cross-SRN 以准确和清晰的结构细节实现了与最先进方法相比具有竞争力或优越的恢复性能。此外，我们设置了一个标准来选择具有丰富结构纹理的图像。所提出的 Cross-SRN 在所选基准上优于最先进的方法，这表明我们的网络在保留边缘方面具有显着优势。

索引术语 - 图像超分辨率，交叉卷积，多尺度特征融合，结构保护。

一、引言

针对低分辨率（LR）图像，超分辨率（SR）的任务旨在找到具有细化细节的相应高分辨率（HR）实例。图像 SR 已被考虑在许多计算机视觉任务中，例如识别、人员重新识别、语义分割和视频压缩。作为一个高度不合适的问题，图像SR受到各种退化模型的影响，例如下采样，噪点和模糊。卷积神经网络（CNN）在复杂信息复原方面表现出优异的性能[1]，被最近的图像SR工作广泛使用。SRCNN [2] 是第一个基于 CNN 的三层网络图像 SR 方法。最近，一些精心设计的架构，例如
DRN [3]、HAN [4] 和 LatticeNet [5] 通过构建更深或更宽的网络以更有效地探索特征来实现最先进的性能。
然而，它们几乎忽略了图像的固有结构信息，例如对象、直线和曲线的外部轮廓，这是评估恢复质量的重要因素。
固定方向的梯度信息对于检测结构信息至关重要。
传统的边缘检测器，如 Prewitt 和 Sobel [6]，设计类似过滤器的模板来探索水平和垂直方向的梯度图。 Canny [7] 通过引入高斯滤波器和双阈值获得更准确的边缘图。这些传统方法使用具有固定参数的模板，只能检测具有指定强度的边缘。
同时，传统的边缘检测器对图像尺度变化很敏感。
最近，基于 CNN 的边缘检测器通过在多尺度图像上学习滤波器实现了最先进的性能。 BDCN [8] 设备用于感知边缘检测的双向级联网络。 RCF [9]通过融合来自VGG-16主干的不同阶段的特征来考虑多尺度层次边缘检测。
根据人类视觉系统（HVS）的机制，与其他组件相比，人眼对图像的边缘信息[10]。因此，边缘信息是视觉的重要特征 [11]。
图像的视觉质量与边缘信息高度相关[12]。
作为语义视觉信息之一，边缘图的重建代表了细节恢复方法的能力[13]。
清晰准确的边缘图表明，高质量的恢复图像几乎没有伪影 [14]、[15]。还有一些工作专注于边缘保持图像超分辨率以获得更好的可视化性能 [14]、[15]、[16]。 SeaNet [17] 用分支恢复 HR 图像以恢复边缘。 DEGREE [18] 引入了 LR 和 HR 图像边缘之间的损失，用于高频信息恢复。
然而，现有工作仅使用边缘图作为约束，而忽略了构建特定的过滤器或组件来直接探索结构信息。

受边缘检测器的启发，本文提出了一种新颖的交叉卷积来探索特征的结构信息，它由两个因式分解的不对称滤波器。
同时应用两个过滤器以增加矩阵等级并保留更多结构信息。
基于交叉卷积，交叉卷积块（CCB）被设计为具有特征归一化（F-Norm）[23]和CA [24]以考虑特征的内在相关性，其集中分别在空间和通道信息上。
CCB 以多尺度方式分组以进行特征探索，称为 MFFG。 MFFG 考虑分层边缘信息并逐步探索结构信息，其中使用填充结构来充分探索特征，并考虑残差连接来保留信息。 MFFG模块级联构成最终的Cross-SRN。

实验结果表明，Cross-SRN 与其他具有更准确结构信息的作品相比，具有竞争力或更好的性能。图 1 显示了各种图像 SR 方法的视觉质量比较，其中 Cross-SRN 恢复了更正确的线条和边缘纹理。为了定量地证明恢复性能，我们从具有丰富结构信息的数字现有纹理 HR 图像中构建了一个选定的基准，这表明我们的网络可以有效地保留结构纹理。
我们的贡献可以总结如下：
•受边缘检测方法的启发，我们设计了一个交叉卷积来进行有效的结构信息探索。
• 我们设计了一个交叉卷积块 (CCB) 来学习边缘特征的关系，并以多尺度特征融合方式 (MFFG) 嵌入 CCB 来探索层次特征在不同的特征尺度上。
• 所提出的Cross-SRN 通过更准确的边缘恢复实现了与最先进方法相比具有竞争力或更好的性能。特别是，我们的网络比具有丰富结构信息的选定基准具有显着优势。

二 相关工作

A. Deep Learning for Image Super-Resolution

CNN已被证明是一种有效的图像恢复方法。 SRCNN [2] 是第一个用于图像 SR 的深度学习方法，它包含三个卷积层以呈现类似稀疏编码的体系结构。然后，VDSR [25] 引入了一个非常深的网络，具有用于恢复的残差学习。 EDSR [26] 删除了批量归一化并构建了一个带有残差块的大型网络。最近，基于 CNN 的工作主要集中在使用精心设计的模块和架构构建从 LR 到 HR 的有效映射。受拉普拉斯金字塔的启发，LapSRN [20] 和 MS-LapSRN [27] 构建了网络以同时恢复具有不同缩放因子的图像。安等人。在 CARN [21] 中设计了一个级联块，用于快速准确的图像恢复。 MSRN [22]、RCAN [28]、RDN [29] 和其他最近的作品也通过精心设计的块实现了最先进的性能。然而，这些工作很少涉及结构信息探索。有些工作将边缘和梯度图作为恢复的先验。 DEGREE [18] 引入了 HR 和 SR 图像之间的梯度损失来约束结构信息的生成。马等。研究了在 SPSR [30] 中具有梯度引导的基于 GAN 的结构。方等。在 SeaNet [17] 中将边缘视为先验以恢复高频信息。这些工作将边缘或梯度作为指导或先验来恢复结构信息，但几乎忽略了直接探索边缘信息。信息蒸馏为特征探索提供了一种有效的方法，通常以多尺度特征融合的方式实现。据我们所知，Hui 等人提出的 IDN [31]。是第一个具有信息蒸馏功能的 SR 网络，它利用通道分离来提取重要特征。惠等。为了获得更好的性能，提出了具有多重蒸馏和通道注意力的 IMDN。 RFDN [32] 源自 IMDN，并改进了网络结构以实现快速准确的恢复。然而，这些工作很少在有限的计算成本下考虑不同尺度的边缘特征。

B.注意力机制

注意力机制是建立起来的，强调重要信息，以加权分布的方式发挥作用。通道注意力[24]（CA）作为图像SR的有效设计，已被应用于最近最先进的SR工作中。据我们所知，SENet [24]是第一个将CA引入深度学习的工作。最近，许多与CA合作的作品在图像SR上展示了最先进的性能。 RCAN [28]研究了使用CA的残余块以提高性能。Dai 等人同时考虑了 SAN 中的 CA 和非局部关注[33]。IMDN [34]、RFDN [32]、HAN [4] 和 DRN [3] 也表现出 CA 的卓越性能。然而，现有的CA通过全球平均数据池来估计信息，忽略了特征之间的空间关系。

三、方法

在本节中，我们概述了所提出的方法。然后，我们详细介绍了交叉卷积和多尺度特征融合组（MFFG）模块。

A. Network Design网络设计

网络设计的概述如图 2 所示。Cross-SRN 分为三个步骤，称为特征提取、分层特征探索和图像恢复，由不同的虚线框分隔。令 ILR 和 IHR 分别表示 LR 和 HR 实例。
首先，我们使用卷积层从 ILR 中提取原始特征为

H0 = fFE(ILR)， (1)
其中 fFE(·) 表示特征提取步骤。卷积扩展了输入实例的通道数，并将实例映射到包含比 RGB 空间更多潜在信息的特定空间。
然后，我们尝试在不同尺度的特征中保留有价值的信息，同时强调边缘特征。因此，我们设计了 G 级联 MFFG，用于通过全局残差学习进行分层特征探索。有

，Hg = fg (Hg−1), (2) MFFG
其中fg (·)表示第g个MFFG，Hg−1和Hg MFFG分别表示MFFG模块的输入和输出特征。级联 MFFGs HG 的最终输出被送入残差模块，该模块由两个带有 LeakyReLU 层的卷积层组成。具有残差学习的填充结构被设计为，

Hout = fPAD(HG)+H0, (3) 其中fPAD(·)表示填充padding。

最后，通过一个卷积和一个超像素卷积恢复HR图像，如，

IHR = fIR（Hout）。（4）
最终卷积减少通道数以恢复HR图像并将特征映射到RGB空间中.

B. 交叉卷积 Cross Convolution

如图3所示，与原版卷积不同，交叉卷积设计有两个不对称的垂直-拉尔滤波器，分别表示为k1×m和km×1，感受域分别为1×m和m×1。设FConv，FConv是输入输出特征，然后有，

FConv =k ⊗FConv +kout 1×m in m×1⊗FConv +b，（5） iniiii，
其中⊗表示卷积，b是偏差项。交叉卷积通过并行利用垂直和水平梯度信息来强调边缘信息。
并行设计表明，与具有相同感受野的传统滤波器相比，计算复杂度和参数更少。同时，并行利用还可以保留比顺序设计更多的信息。图 4 展示了顺序卷积和交叉卷积之间信息保存的差异。输入要素包含各个方向的渐变信息，蓝色箭头表示每个像素的渐变方向。在两个不对称滤波器进行垂直和水平探索后，利用来自不同方向的梯度。最后，顺序卷积的输出特征只关注特征的主要梯度方向，而交叉卷积可以保留更多的梯度方向。所提出的交叉卷积的优势可以通过它所包含的信息量来验证。

对于香草vanilla卷积滤波器k m×m，秩为rank(k m×m) ≤ m。对于k1×m和k m×1的顺序组合，秩为rank(k1×m·k m×1) = 1。
秩较低的滤波器比秩较高的滤波器保留的信息少。
交叉卷积 kcross 的秩为 rank(kcross) ≤ 2，与顺序卷积相比，它可以保留更多的潜在信息。事实上，交叉卷积与传统的边缘检测器具有相似的公式。

图 5 显示了由不同过滤器提取的结构纹理的示例。我们将交叉卷积与 Sobel 算子进行比较，Sobel 算子从垂直和水平方向检测边缘。图 5（b）和（f）分别是 Sobel 和交叉卷积的结果。比较表明，交叉卷积可以保留大部分边缘清晰锐利的边缘信息，验证了结构纹理探索的能力。特别地，我们还将提取的边缘图与垂直、水平滤波器和顺序卷积进行了比较，如图（c）、（d）和（e）所示，这表明交叉卷积可以提取比其他方法更多的边缘信息。值得注意到 Inception [35] 也有类似于交叉卷积的过滤器，但他们的方法不适用于我们正在解决的具有挑战性的问题。 Cross convolution 是专门为图像 SR 探索边缘信息而设计的，而 Inception 中的 filters 旨在保存图像分类的参数，没有显式的边缘特征。
交叉卷积在两个垂直方向上探索和叠加边缘特征，调用更高矩阵秩的滤波器来保留比 Inception 的通道聚合更多的信息。更重要的是，Cross convolution 能够在网络的任何位置进行边缘探索，而 Inception blocks 不能像他们论文中所说的那样在网络的开头使用。

此外，Inception 中顺序堆叠的过滤器在图 4 和第 IV-B1 节中被讨论并称为“Seq”。表 I 中的对比测试表明，交叉卷积比 Seq 保留了更多的信息。交叉卷积设计有两个因式分解过滤器，并专注于垂直和水平结构信息探索。与 Canny、Sobel 和其他传统边缘检测器类似，分解滤波器在两个正交方向上探索边缘，并通过汇总得出最终的结构信息。因此，交叉卷积本质上适用于结构信息探索。

可分离卷积[36]以顺序方式组织非对称滤波器，而提出的交叉卷积以并行方式设计滤波器，并在相同数量的情况下实现更好的量化性能。参数。空间可分离卷积的动机是将常规卷积转换为具有较少矩阵乘法并保持感受野的参数有效设计。与空间可分离卷积相比，所提出的用于图像超分辨率的交叉卷积仅需要一次额外的加法运算，计算成本微不足道。表 I 中的“Seq”表示与可分离卷积相同的设计。在表中，我们的交叉卷积以类似的计算复杂度实现了更好的恢复性能。交叉卷积更多地关注结构信息，与可分离卷积相比具有更高矩阵秩和更多潜在信息的边缘检测器具有相似的公式。

C. Multi-Scale Feature Fusion Group

为了获得准确的边缘信息，我们在基本交叉卷积的基础上构建了交叉卷积块（CCB），如图2所示。两个带有Leaky ReLU激活的交叉卷积用于探索结构信息。
除了卷积，F-Norm [23] 和 CA [24] 被认为分别强调重要的空间和通道信息。

图 6 显示了 CA 的操作，其中应用全局平均池化来压缩信息，两个具有 ReLU 激活的全连接层探索每个通道的非线性注意力。
F-Norm关注空间信息的多样性，可以表述为，

F(i) =(F(i)⊗k(i)+b(i))+F(i), (6) out in inwhere F(i),
F(i)是第i个通道的输入和输出特征，k(i)和b(i)是第i个通道的过滤器和偏置。

网络中的CCB组织了残差块设计中的交叉卷积。残差块设计已在高级网络中被广泛考虑以提高性能。
除了残差连接外，还利用通道注意和特征归一化来提高探索性能，这被证明是图像 SR 的有效组成部分。
由于边缘信息对尺度变化敏感，CCB 以多尺度特征融合方式分组在 MFFG探索不同尺度的特征。-------------------（或者说结构信息吗

如图 7 所示，对于第 g 个 MFFG，输入特征 Hg−1 被平均分为多个具有相同通道数的组。如图 7 所示，令 fj (·) 为第 j 个 CCB CCBin MFFG，输入特征Hg-1被分为H C0 到H C03 四组。多尺度特征融合可以表示为，

其中 〖H C 〗_j^k 表示第j个CCB后的第k组，[·]表示组组合group combination。
层次特征由残差块结构聚合，该fuse结构由两个带有 Leaky ReLU 的卷积层和一个 CA 层组成。
最后，MFFG的输出为，

其中fF use (·)为融合结构。
在此，MFFG保留了原始信息，强调-按层次结构调整结构信息的大小。如图 2 的左上角所示，输入特征 Hg-1 分为四组。 CCB 依次处理三个组以进行分层结构信息开发。为了保留边缘探索过程中丢失的潜在信息，最后一组保留相同的原始特征。在 CCB 之后，利用具有通道注意力的香草残差块结构进行有效的特征探索和梯度传输。

四、实验与分析

在本节中，我们首先介绍了我们的 Cross-SRN 的实验设置。
然后，我们提供了交叉卷积和 MFFG 的消融研究，以显示所提出模型的有效性。
最后，我们将我们的 Cross-SRN 与最先进的作品进行比较。

A. Experiment Settings

------------网络中块数
In Cross-SRN，有G = 10个MFFGs用于非线性开发。
除图像恢复模块外，卷积层的滤波器数设置为c = 64，滤波器的内核大小设置为m = 3。

由于本文中最大缩放因子设置为×4，因此图像恢复模块可以被视为从特征空间到 RGB 空间的下采样步骤。
------------训练集，输入设置
我们使用 DIV2K [37] 数据集训练网络。 DIV2K 在 New Trends in Image Restoration and Enhancement (NTIRE) 2017 竞赛中首次提出，并已广泛用于图像 SR 任务。
我们选择 895 张图像用于训练，5 张图像用于验证。
我们利用双三次 [38] (BI) 通过不同的缩放因子获得退化图像。
对于训练集，图像被裁剪为 48×48 的块大小，然后随机翻转和旋转以进行增强。
------------学习率
Cross-SRN 由学习率 lr = 10−4 的 Adam [39] 优化器更新。我们训练网络 1000 个 epoch，每 200 个 epoch 将学习率减半。
------------评价指标
评估指标被选择为峰值信噪比（PSNR）、结构相似性（SSIM）和乘法累加运算MAC
较高的PSNR / SSIM结果意味着更好的性能，较低的MAC意味着更快的速度。
MAC 是通过恢复比例因子为 ×4 的 1280 × 720 （720P） 图像来计算的.
------------测试集
五个测试基准用于性能比较：Set5 [40]、Set14 [41]、B100 [42]、Urban100 [19] 和 Manga109 [43]。
Urban100 是具有真实世界人力资源图像的测试基准。
B100也是现实世界的基准，具有丰富的复杂纹理。
Manga109漫画109由漫画封面组成。
所有三个基准都包含丰富的高频和结构信息。

-------------选择性基准来比较结构信息恢复的能力（。。。
此外，我们建立了一个选择性基准来比较结构信息恢复的能力，该恢复由图像组成来自 Urban100 和 Manga109，带有数字边和线。
基准测试是根据以下步骤构建的。
首先，我们用 7×7 高斯核对图像进行模糊去噪。
滤波后，利用 Sobel 算子对图像进行边缘提取。
我们使用阈值 te = 128 去除边缘图中的弱响应，并计算图像的平均响应。
响应高于 tr = 12 的图像包含在基准中。
总共有 38 张图像，包括来自 Urban100 的 18 张图像和来自 Manga109.te 的 20 张图像，tr 用于选择具有更多边缘信息的图像。
te用于探索具有高响应的边缘，tr用于评估图像中边缘信息的平均强度。
Sobel提取的边缘图表示0-255范围内每个像素的边缘信息的响应。
te设置为128，该范围的平均值。将值小于te的像素设置为0。
然后，计算每个像素的平均响应以估计每个图像中边缘信息的强度。
如果响应大于经验值 tr=12，则图像包含在选择性基准中。

B.消融研究

在这里，我们分别研究了交叉卷积，多尺度特征融合和网络工作结构的性能.

1）交叉卷积的研究：

为了证明交叉卷积的性能，我们设计了三种卷积结构进行比较：Cross表示提议的交叉卷积，Seq表示顺序卷积，Conv表示香草卷积。为了研究Cross在结构信息保存方面的有效性，我们在选择性基准和其他广泛使用的基准上测试了三种卷积结构。表一显示了PSNR/SSIM的比较。我们可以看到Cross在测试中实现了具有竞争力或更好的PSNR / SSIM性能参数和MAC较少的基准测试，这证明了我们对矩阵秩的假设。
特别是在具有丰富边缘结构的选择性基准上，Cross实现了比Conv和Seq更高的PSNR，这意味着所提出的Cross在结构信息保存方面取得了更好的性能，只有76.8%的MAC和85.8%的转换或Seq参数。因此，Cross在边缘特征探索和信息丢失方面取得了很好的平衡。图 8 演示了三种卷积结构的可视化分析。

在图 8 （b） 和 （c） 中，由两个因子化滤波器处理的特征响应不同类型的区域。图（b）和（c）由不同的滤波器处理，它们分别对两个方向裕量具有高响应。相反，所提出的交叉卷积从同一输入中并行提取边缘特征。如图8（d）所示，交叉卷积后边缘得到增强，这也证明了我们在结构纹理恢复方面的能力。交叉卷积旨在用命令卷积代替具有受限参数和MAC的结构信息。一个香草m×m卷积滤波器可以看作是形状为m× m的矩阵，滤波器秩（km×m）的秩≤ m。换句话说，过滤器秩的上限是 m。交叉卷积设计为 km×1 和 k1×m 的组合，其上限为 2。
因此，当m较小时，交叉卷积可以保留普通卷积的大部分信息。
此外，交叉卷积遵循与传统边缘检测器类似的公式，可以有效地探索结构信息。
实验结果表明，与参数和MAC较少的普通卷积相比，交叉卷积实现了有竞争力的PSNR/SSIM性能，顺序情况Seq与原版卷积具有相同的感受野，但顺序探索丢失了大量信息。顺序卷积秩（k1×m · km×1） = 1，这意味着顺序卷积可能比交叉卷积丢失一半的信息。
为了更好地说明潜在的信息丢失，我们进行了消融研究以比较PSNR / SSIM。结果如表所示。

IIITable III 显示了 Set5 基准上顺序卷积和交叉卷积之间的 PSNR/SSIM、参数和 MAC 比较，比例因子为 ×4。为了公平比较，所有模型都重新训练了 200 个 epoch。在表中，我们可以发现在所有感受野上，交叉卷积比顺序设计实现了更好的PSNR/SSIM性能。当感受野为3×3时，PSNR改善为0.8 dB，意义显著。这一观察结果符合我们对滤波器秩的结论，该结论表明交叉卷积可以保留比顺序设计更多的信息。

此外，我们可以发现，当感受场不同时，交叉卷积的性能是相似的。正如我们在过滤器的秩上讨论的那样，交叉卷积秩的上限是 2。因此，选择滤镜尺寸m = 3是恢复HR图像的最有效方法。选择 m = 3 还有另一个原因。根据卷积操作的线性，具有较大感受野的滤波器可以等效地替换为具有较小感受野的滤波器组合[35]。接受性提交3×3是构建更深层次神经网络的经济选择，这在最近的SR工作中被广泛考虑[26]，[29]，[28].

2）多尺度特征融合的研究：

为了研究多尺度特征融合模块的有效性，我们将提出的MFFG设计与其他两个可选设计进行了比较，
• 一种是没有通道划分和多尺度特征融合的MFFG，表示为无MFF。
• 另一种是没有CCB的MFFG，称为w/o CCB。没有 CCB 意味着我们从跨 SRN 中删除所有 CCB。换句话说，MFFG 中的三个 CCB 被省略，而其他组件不会被修改。
无CCB的消融研究旨在调查Cross-SRN骨干的有效性。
在不带MFF版本中，三个CCB都将所有特征通道作为输入，所有CCB都是按顺序处理的。换句话说，w/o MFF 意味着 MFFG 中的所有 CCB 都被修改为通道号为 64，并且不考虑通道分离。没有多尺度特征融合的MFFG可以通过堆叠三个CCB，两个卷积层，一个LeakyReLU和一个CA来被视为残差中残差类架构。

PSNR/SSIM的比较结果如表II所示。我们可以看到我们的实现了比没有MFF的竞争优势，大约有一半的参数和MAC。我们在 Set5 上的降差小于 0.01 dB，在 B100 上下降不到 0.05 dB。没有MFF的模型具有与MFFG相似的PSNR / SSIM，但参数和MAC要高得多。结果表明，多尺度特征融合保留了大部分边缘信息通过分层探索。与 MFFG 相比，没有 CCB 的模型在 Set5 上下降了近 0.2 dB，这意味着 CCB 对于恢复至关重要。根据图 7，我们在融合之前将四组特征图和图 9 中 MFFG 的最终特征图可视化。

MFFG 的输入特征如图 9 (a) 所示。图 9（b）-（e）是来自不同 CCB 的组的特征图，表示等式中从 H C03 到 H C30 的特征。 7，分别。图 9 (f) 是 MFFG 的输出。所有图像都是由相同的策略生成的。对于每个组，特征图在 0 到 1 的范围内进行平均和归一化。我们可以从 (b) 到 (e) 获得越来越精细的边缘和纹理，因为结构信息随着 CCB 的增加而增强。我们以放大的绿色矩形区域为例，由红色箭头引导。从 (b) 到 (e) 的对比度增强，小边缘更清晰。因此，实验验证了 CCBs 处理后输出特征中的边缘和结构纹理更清晰，这在（a）和（f）之间的比较中很明显。

3）网络结构分析：

我们分析和比较不同网络结构设置的性能，包括通道注意力和不同的特征归一化机制。我们通过测试有或没有两种结构的性能来证明通道注意力（CA）和特征归一化的有效性。结果示于表IV。我们可以看到我们的带有 CA 和 F-Norm 的模型达到了最好的性能。结果表明，没有 F-Norm 的模型在 Manga109 基准上下降了 0.06 dB，没有 CA 的模型在 Urban100 上下降了 0.05 dB。从这个角度来看，CA 和 F-Norm 是提升网络性能的有效成分。

C. 与最先进方法的比较

我们将 Cross-SRN 与三种代表性图像 SR 作品进行比较，
• 包括经典图像 SR 作品（SR-CNN [2]、VDSR [25]、LapSRN [27] 和 CARN [21]），
• 多尺度工作（MRFN [44] 和 IMDN [34]），
• 以及使用边缘图先验（DEGREE [18] 和 SeaNet-baseline [17]）的结构保留工作。

PSNR/SSIM 结果如表 V 所示。所有比较方法都遵循相同的训练和测试协议，性能由已发表的论文提供。表 V 的最后一列展示了所提出的 Cross-SRN 实现了竞争性或卓越的性能，并且 90% 的结果实现了 bset（粗体）或第二好的（下划线）性能。
特别是，与经典和多尺度作品相比，Cross-SRN 在 Urban100 和 Manga109 上的 PSNR 提高了近 0.1db，在 B100 上取得了更好的性能。优越的性能表明我们的网络可以更有效地恢复结构纹理。
所提出的 Cross-SRN 也比基于边缘图的方法 DEGREE [18] 和 SeaNet-baseline [17] 具有明显的优势。在表 V 中，Cross-SRN 在所有测试基准上都取得了优于 DEGREE 的性能。与 SeaNet 相比，Cross-SRN 在所有比例因子和基准测试中取得了 90% 最好或次好的结果，而SeaNet 的百分比仅为 43%。在 Urban100 和 Manga109 上，Cross-SRN 的 PSNR 比 SeaNet 高 0.1-0.3 dB。值得注意的是，SeaNet-baseline 包含 4.1M 参数，而 Cross-SRN 仅包含大约 1.3M。从这个角度来看，Cross-SRN 可以比其他基于边缘图的作品更有效地恢复结构信息，参数更少。

我们还在选择性基准上将我们的 Cross-SRN 与其他作品进行比较，以显示结构信息保存的有效性。如表六所示，从 Urban100 中选择的 18 张图像表示为 Urban100 (S)，从 Manga109 中选择的 20 张图像表示为 Manga109 (S)，总共 38 张图像表示为 Selected。
实验结果表明 Cross-SRN 取得了优于其他工作的性能，这表明我们的网络在保留结构信息方面具有更高的能力。

为了证明恢复性能，可视化比较如图 10、图 11 和图 12 所示。
Set14 数据集证明了结构信息恢复的有效性。 Urban100 基准测试由具有丰富复杂结构纹理的高分辨率真实世界图像组成。
选择两个具有代表性的建筑物实例来表示恢复能力。
从图 11 可以看出，Cross-SRN 可以更有效地从高层建筑中恢复网格和线条。与 IMDN 相比，Cross-SRN 可以防止更多的纹理混合，并重新获得更多正确的结构纹理。
需要注意的是，IMDN 是另一个采用多尺度融合设计的图像 SR 网络。从这个角度来看，Cross-SRN在结构信息恢复方面具有令人信服的恢复能力。除了Urban100，我们还从Manga109中选取了两个具有代表性的实例进行比较。
Manga109是漫画标杆，区域清晰，高频信息多。我们将 Cross-SRN 与 LR、LapSRN 和 IMDN 进行比较。结果如图 12 所示。从比较来看，Cross-SRN 可以更准确地还原高频信息。特别是，Cross-SRN可以更有效地恢复微小的纹理，例如单词和眼睛的区域。同时，Cross-SRN可以很好地恢复通过下采样混合的串行线纹理。从可视化比较来看，Cross-SRN 获得了优于其他轻量级作品的恢复性能。

值得注意的是，与其他方法相比，所提出的 Cross-SRN 以更少的参数和更低的计算复杂度实现了卓越的性能。
图 13 展示了 Urban100 数据集上 PSNR 与相应参数和 MAC 的直观比较。我们的方法用红星标记，而其他方法用蓝点标记。所提出的方法在所有蓝点上以红星实现最佳性能，参数更少，MAC 更低。
因此，Cross-SRN 被证明是一种有效的结构保持图像恢复设计。除了客观和主观的比较，我们还比较了不同方法的速度。

我们通过随机还原一张BI×4退化的720P图像100次来计算时间成本，取平均值进行比较。结果示于表VII。
在表中，我们的网络实现了最佳的 PSNR/SSIM 性能速度很快。与CARN相比，我们实现了0.1 dB的PSNR改进，只需要多20毫秒的时间成本。

V. 结论

在本文中，我们提出了一种称为Cross-SRN的网络，用于边缘保护图像超分辨率。受边缘检测方法的启发，设计了一种新颖的交叉卷积操作，以更有效地利用结构信息。交叉卷积并行利用两个垂直分解滤波器来提高矩阵秩并保留更多信息。基于交叉卷积，用CA和F范数研究了CCB，分别关注通道和空间特征的内在相关性。MFFG以多尺度特征融合方式对CCB进行分组，实现高效的分层特征探索。实验结果表明，Cross-SRN在定量和定性比较上都表现出优于其他轻量化作品的修复能力。