超分辨率重建之VDSR

VDSR

SRCNN存在三个问题需要进行改进:1、依赖于小图像区域的内容;2、训练收敛太慢;3、网络只对于某一个比例有效。

VDSR模型主要有以下几点贡献:1、增加了感受野,在处理大图像上有优势,由SRCNN的13*13变为41*41。2、采用残差图像进行训练,收敛速度变快,因为残差图像更加稀疏,更加容易收敛(换种理解就是lr携带者低频信息,这些信息依然被训练到hr图像,然而hr图像和lr图像的低频信息相近,这部分花费了大量时间进行训练)。3、考虑多个尺度,一个卷积网络可以处理多尺度问题。

网络结构如下图所示:

训练的策略:1、才用残差的方式进行训练,避免训练过长的时间。2、使用大的学习进行训练。3、自适应梯度裁剪,将梯度限制在某一个范围,本文采用自适应梯度方法,将梯度限制在 ,其中是学习率。4、多尺度,多种尺度样本一起训练可以提高大尺度的准确率。

对于边界问题,由于卷积的操作导致图像变小的问题,本文作者提出一个新的策略,就是每次卷积后,图像的size变小,但是,在下一次卷积前,对图像进行补0操作,恢复到原来大小,这样不仅解决了网络深度的问题,同时,实验证明对边界像素的预测结果也得到了提升。

 

参考:

论文全名:Accurate Image Super-Resolution Using Very Deep Convolutional Networks

下载地址:https://pan.baidu.com/s/1ge2pCWF

code:https://github.com/huangzehao/caffe-vdsr

vdsr训练集和测试集

  • 5
    点赞
  • 36
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
图像超分辨率重建是计算机视觉领域的一个重要研究方向,其目标是从低分辨率图像中恢复高分辨率图像。这个问题的重要性在于,高分辨率图像能够提供更多的细节和信息,对于许多计算机视觉任务都有很大的帮助,例如目标检测、识别、跟踪等等。本文将对图像超分辨率重建的研究现状进行综述。 一、问题定义 图像超分辨率重建的任务是从低分辨率图像中生成高分辨率图像。形式化地,我们可以将其定义为:给定一个低分辨率图像 $y\in R^{H\times W\times C}$,其中 $H$、$W$、$C$ 分别代表高度、宽度和通道数,我们的目标是恢复出一个高分辨率图像 $x\in R^{sH\times sW\times C}$,其中 $s$ 是超分辨率重建的倍数,通常为 2、3 或 4。 二、方法分类 目前,图像超分辨率重建的方法可以分为以下几类: 1. 基于插值的方法 基于插值的方法是一种简单而有效的方法,其思想是根据低分辨率图像的像素值,通过插值得到高分辨率图像的像素值。最常见的插值方法包括双线性插值、双三次插值等等。虽然这种方法很简单,但是其结果通常不够准确,无法恢复出高频细节。 2. 基于边缘的方法 基于边缘的方法是一种通过利用图像边缘信息来提高超分辨率重建质量的方法。其主要思想是先通过边缘检测算法得到图像的边缘信息,然后根据边缘信息来恢复高分辨率图像。这种方法的优点是能够保留边缘信息,但是对于纹理等高频信息的恢复效果不佳。 3. 基于插值和边缘的方法 基于插值和边缘的方法是将前两种方法结合起来使用的方法。其主要思想是先通过插值得到一个粗略的高分辨率图像,然后通过边缘信息来对其进行修正。这种方法相对于前两种方法来说,能够得到更好的重建效果。 4. 基于深度学习的方法 基于深度学习的方法是当前图像超分辨率重建领域的主流方法。其主要思想是通过深度神经网络学习低分辨率图像和高分辨率图像之间的映射关系。这种方法能够自动学习纹理、结构等高频信息,并且能够得到更好的重建效果。 三、经典方法综述 1. SRCNN SRCNN(Super-Resolution Convolutional Neural Network)是一种基于深度学习的图像超分辨率重建方法,由 Dong 等人于 2014 年提出。SRCNN 通过三个卷积层来学习低分辨率图像和高分辨率图像之间的映射关系,其网络结构如图所示。 ![SRCNN网络结构](https://img-blog.csdnimg.cn/2021110116041976.png) 2. VDSR VDSR(Very Deep Super-Resolution)是一种基于深度学习的图像超分辨率重建方法,由 Kim 等人于 2016 年提出。VDSR 通过 20 个卷积层来学习低分辨率图像和高分辨率图像之间的映射关系,其网络结构如图所示。 ![VDSR网络结构](https://img-blog.csdnimg.cn/20211101160438498.png) 3. SRGAN SRGAN(Super-Resolution Generative Adversarial Network)是一种基于深度学习的图像超分辨率重建方法,由 Ledig 等人于 2017 年提出。SRGAN 通过生成对抗网络来训练,其网络结构如图所示。 ![SRGAN网络结构](https://img-blog.csdnimg.cn/20211101160503106.png) 四、现状与展望 目前,图像超分辨率重建领域的研究已经取得了很大的进展,基于深度学习的方法已经成为主流,并且在一些实际应用中取得了很好的效果。未来,图像超分辨率重建领域的研究还有很多可以探索的方向,例如: 1. 跨域图像超分辨率重建:如何在不同域之间进行超分辨率重建,如从可见光图像到红外图像的转换等等。 2. 多模态图像超分辨率重建:如何从多种传感器获得的低分辨率图像中恢复出高分辨率图像。 3. 基于物理模型的图像超分辨率重建:如何利用物理模型来提高超分辨率重建的质量,如利用光学成像原理等等。 总之,图像超分辨率重建领域还有很多可以探索的方向,相信未来会有更多的研究成果和应用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值