超分概念集锦

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/NCU_wander/article/details/98357550

超分概念

超分辨率(Super Resolution,SR),与超分相对应的是低分辨率图像(Low Resolution,LR),以及经常作为Ground Truth的高分辨率图像(High Resolution, HR)。
超分辨率是一项底层图像处理任务,将低分辨率的图像映射至高分辨率,以期达到增强图像细节的作用。图像模糊不清的原因有很多,比如各式噪声、有损压缩、降采样……超分辨率是计算机视觉的一个经典应用。SR是指通过软件或硬件的方法,从观测到的低分辨率图像重建出相应的高分辨率图像(说白了就是提高分辨率),在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。

最早将深度学习用到SISR的是何凯明大神等人在ECCV2014年提到的SRCNN,因此可以说凯明大神是超分这一技术领域的祖师爷。自2016年开始举办的New Trends in Image Restoration and Enhancement workshop(NTIRE)开始举办关于超分技术领域的比赛,新模型新算法层出不穷。

超分分类

一般来说,超分分为以下两种应用场景:
SISR: 只参考当前低分辨率图像,不依赖其他相关图像的超分辨率技术,称之为单幅图像的超分辨率(Single Image Super Resolution,SISR),需要注意的是对于一个低分辨率图像,可能存在许多不同的高分辨率图像与之相对应。
VSR: 参考多幅图像或多个视频帧的超分辨率技术,称之为多帧视频/多图的超分辨率(multi-frame super resolution/Video SR)。对于video SR,其核心思想就是用时间带宽换取空间分辨率。既可以通过多张图像来获得图像更多的信息,又可以综合考虑图像的前后帧语义,使得连续图像之间的信息表达有连续性。

我们通常理解的超分辨率都是指SISR,我们只需要输入一张低分辨率图像而获得高分辨率图像的输出。 而VSR会利用视频的时间关联性来获得对某一帧的SR。

评价指标

常用的图像质量评估指标有如下三种,在此逐一进行介绍:

MSE:Mean Squared Error,逐个比较两幅图像的像素差,最终求解所有像素的均方误差
PSNR::Peak Signal to Noise Ratio,峰值信噪比,即峰值信号的能量与噪声的平均能量之比,数值越大表示失真越小,通常表示的时候取 log 变成分贝(dB),由于 MSE 为真实图像与含噪图像之差的能量均值,而两者的差即为噪声,因此 PSNR 即峰值信号能量与 MSE 之比。

第二个等式由于图像像素点数值以量化方式保存,bits 即每个像素点存储所占的位数。因此 MaxValue 即为 2^bits - 1。灰度图中的bits = 8,因此PSNR与MSE在本质上是相似的,只是PSNR相对而言更易于解读,一般取值范围:20-40。值越大,视频质量越好。

基于MSE改进而来的PSNR是最普遍和使用最为广泛的一种图像客观评价指标,然而它基于误差敏感的图像质量评价,并未考虑到人眼的视觉特性(人眼对空间频率较低的对比差异敏感度较高,人眼对亮度对比差异的敏感度较色度高,人眼对一个区域的感知结果会受到其周围邻近区域的影响等),因而经常出现评价结果与人的主观感觉不一致的情况。

SSIM:Structural Similarity, 由于基于像素的简单计算不符合人类视觉系统(Human Visual System,HVS)的评价结果,因此需要对评价方式进行重新考量。如果图片的最终目的是向人类进行展示的话,那么质量应该以人的主观测评为准。但是由于主管评价不方便且费时,因此我们试图用客观的 image quality assessment 来对图像进行评价,使其接近 HVS 的特点。SIMM的评价指标在如下三点:1. luminance,亮度;2. contrast,对比度;3. structure,结构。SSIM取值范围[0,1],值越大,表示图像失真越小。

VSR常见的光流法

本博客深入浅出,讲解的非常好,在此直接贴上链接。
https://blog.csdn.net/qq_41368247/article/details/82562165
关于超分的概念讲解,尤其是单帧SR没有充分考虑前后帧图像间的相关性,造成Vedio中出现波浪状纹路,解释可以见以下博客:
https://blog.csdn.net/Gavinmiaoc/article/details/90666538
关于近期VSR的论文与模型整理,可以见github上分享:
https://github.com/LoSealL/VideoSuperResolution

图像增强

上采样(UmSampling):相比于数据集的上采样与下采样,图像也有属于自己的上采样与下采样,对应着常见的用语:增强与压缩。在深度学习中图像的上采样包括反卷积(Deconvolution)、传统插值与上池化(UnPooling)。
反卷积: https://buptldy.github.io/2016/10/29/2016-10-29-deconv/ 卷积的本质就是矩阵运算,这篇博客通过对矩阵运算的讲解,将卷积与反卷积的数学本质解释的很透彻。
上池化: 也就是反池化,不需要学习,用的不是太多,参考论文Visualizing and Understanding Convolutional Networks,还有SegNet和DeconvNet
简单原理:在池化过程中,记录下max-pooling在对应kernel中的坐标,在反池化过程中,将一个元素根据kernel进行放大,根据之前的坐标将元素填写进去,其他位置补0
传统插值:包括双线性插值、三次样条插值,都属于传统的图像上采样方法

展开阅读全文

没有更多推荐了,返回首页