这里提出了一种用于图像超分辨率的动态网络（DSRNet）。由于动态门作用，该网络可以根据不同的场景自适应地学习更多有效的细节信息，提高图像超分辨性能。是西工大&哈工大&腾讯&朴次茅斯大学 提出的一种动态网络的图像超分辨方法

论文“Image super-resolution via dynamic network”

论文链接：https://arxiv.org/abs/2310.10413

项目链接：https://github.com/hellloxiaotian/DSRNet

卷积神经网络（Convolutional Neural Networks, CNNs）依赖于深度网络架构来提取用于图像超分辨率的精确信息。然而，这些卷积神经网络获得的结构信息不能完全表达复杂场景下预测的高质量图像。本文提出了一种用于图像超分辨率的动态网络（Dynamic network for image super-resolution, DSRNet），该网络包括残差增强块、宽度增强块、特征细化块和构造块。残差增强块由残差增强结构组成，以促进图像超分辨率的分层特征。为了增强所获得的超分辨率模型对复杂场景的鲁棒性，宽度增强块实现了一种动态架构，以学习更鲁棒的信息，从而增强所获得超分辨率模型对于变化场景的适用性。为了防止宽度增强块中组件互相干扰，细化块利用堆叠结构来准确地学习所获得的特征。此外，残差学习操作被嵌入到细化块中，以防止长期依赖性问题。最后，构造块负责重建高质量图像。设计的异构架构不仅可以提供更丰富的结构信息，而且可以实现轻量级，适用于移动数字设备。实验结果表明，该方法在图像超分辨率和复杂度的性能、恢复时间等方面更具竞争力。DSRNet的代码可以在https://github.com/hellloxiaotian/DSRNet处被获取。

主要贡献：

1.动态门被用于图像超分辨率，可以提高所获得的超分辨率模型对不同场景的鲁棒性。

2.提出了一种渐进特征增强和细化方法，以在图像超分辨率的性能和复杂性之间进行权衡。

3.所提出轻量级的网络非常适合在真实的数字设备上进行图像超分辨率。

方法

网络结构如图1所示：

DSRNet_复杂度

图1 DSRNet网络结构图

实验

本文提出的方法在Set5，Set14，B100，U100和DIV2K这五个基准数据上超过了很多流行的方法，如：A+、SelfEx、SRCNN和VDSR等。更多的图像超分辨结果如表1到表5所示：

DSRNet_人工智能_02

表1 在Set5上具有不同上采样因子的不同方法的PSNR和SSIM

DSRNet_人工智能_03

表2 在Set14上不同上采样因子下不同方法的PSNR和SSIM

DSRNet_人工智能_04

表3 在B100上具有不同上采样因子的不同方法的PSNR和SSIM

DSRNet_复杂度_05

表4 在U100上具有不同上采样因子的不同方法的PSNR和SSIM

DSRNet_复杂度_06

表5 在DIV2K上具有不同上采样因子的不同方法的PSNR和SSIM

为了验证提出方法的复杂度和运行时间，本文还在多种尺寸的图像上利用LESRCNN，ACNet，CARN-M和提出的方法恢复4倍高质量图像，测试提出方法的性能。如表6和表7所示，虽然我们提出的模型的参数量略高于LESRCNN和CARN-M方法，但DSRNet具有更低的内存消耗和更快的恢复图像的速度。这说明我们的方法DSRNet更适合应用在真实数字设备上。

DSRNet_动态网络_07

表6 不同SR方法在B100数据集上恢复4倍图像的PSNR/SSIM结果 ×4的不同SR方法的复杂性，图像大小为256×256   

DSRNet_复杂度_08

表7 流行的SR方法恢复不同大小（256×256、512×512和1024×1024）的4倍HR图像的运行时间（毫秒）

为了从视觉验证本文提出方法的优越性，本文制作不同倍数的2组可视化图像。如图2和图3所示，本文提出的方法获得更清晰的细节信息，这再次说明提出的DSRNet对图像超分辨任务有效。

DSRNet_人工智能_09

图2 不同方法在U100上复原2倍图像的视觉效果。Visual effects of different methods for ×2 on U100 as follows. （a） HR图像，（b）Bicubic，（c）VDSR，（d）CARN-M，（e）LESRCNN和（f）DSRNet（Ours）

DSRNet_github_10

图3不同方法在B100上复原4倍图像的视觉效果。Visual effects of different methods for ×4 on B100 as follows. （a） HR图像，（b）Bicubic，（c）VDSR，（d）CARN-M，（e）LESRCNN和（f）DSRNet（Ours）

结论

本文提出了一种用于图像超分辨率的动态网络（DSRNet）。DSRNet的第一阶段实现了残差增强架构，以促进图像超分辨率的分层特征。第二阶段实现了一种动态架构，以提取更丰富的信息，从而增强所获得的超分辨率模型对不同应用场景的适用性。为了防止第二阶段中组件的干扰，第三阶段基于VGG的思想利用堆叠架构来准确地学习所获得的特征。为了防止长期依赖问题，在第三阶段对深层进行残差学习操作。为了获得预测的高质量图像，第四阶段使用子像素和卷积层来构建高质量图像。本文提出方法是轻量级的，能提高图像超分辨率运行效率。由于动态门作用，该网络可以根据不同的场景自适应地学习更多有效的细节信息，提高图像超分辨性能。在未来，我们将使用多模态技术来引导CNN进行图像盲超分辨率。