图像超分辨率SPSR：利用梯度信息来保持图像结构

最新推荐文章于 2023-06-21 20:31:07 发布

g chen

最新推荐文章于 2023-06-21 20:31:07 发布

阅读量1.5k

点赞数 1

分类专栏：超分辨率深度学习文章标签：深度学习神经网络

本文链接：https://blog.csdn.net/weixin_42169000/article/details/113881897

版权

本文介绍了如何利用梯度信息改进图像超分辨率技术，以保持图像结构的稳定性。通过添加一个梯度分支辅助网络学习，结合L1、感知损失和GAN损失，避免传统方法导致的图像平滑和模糊，以及GAN产生的不真实细节。实验结果显示，这种方法在保持图像细节和结构方面表现出色。

摘要由CSDN通过智能技术生成

利用图像梯度信息使复原图像具有更稳定的结构

本文是对Structure-Preserving Super Resolution with Gradient Guidance一文进行介绍

概述

在传统的图像超分中，往往以PSNR作为优化目标。所以许多的方法都使用L2，L1 loss作为网络的优化目标。但是由于从低分辨率到高分辨率的过程并不是单一的，所以网络预测的结果往往是多张可能图像的平均。这会造成图像的平滑和模糊。为了解决这个问题，在近些年，以感知为目标的图像超分辨率方法引起了很多的关注。
这些方法基本都以GAN为基础，但是GAN会可能生成一些不真实的细节，产生一些混乱的结构。如图所示：
在这里插入图片描述

可以看到，SRGAN，ESRGAN这些使用GAN的方法，在图像中会产生扭曲和混乱。这在真实应用场景下带来的结果是灾难的。所以本文想采取一种方式，能够具有GAN的优点，同时尽量使生成的图像中的细节能够更稳定。因此本文提出了使用图像的梯度信息作为额外的监督信息和约束，以此让模型能够更专注于图像中的细节部分。同时，这种方法与模型无关，可以使用到任意的超分辨率模型中。

方法

    本文方法主要思路也非常简单，就是为网络提供了一个辅助任务的分支，以LR图像的梯度图作为输入，最终预测HR图像的梯度图。网络结构图如下：
在这里插入图片描述
    基础的网络使用了和ESRGAN相同的结构，在第5th, 10th, 15th, 20th层的特征图会被送到Gradient Branch进行融合。这样在训练时Gradien Branch的梯度也能回传到主分支SR Branch中，以此来影响主分支的参数更新。网络结构并不是此文的重点，可以使用任意的SR网络替换图中的网络结构。
    图中梯度分支的输入是由输入的图像计算梯度得到，计算的方式也很简单：
$I_{x}(X)=I(x+1,y)-I(x-1,y)$