超分辨率基础

已于 2022-07-15 16:36:03 修改
阅读量7.6k 收藏 45
点赞数 2
文章标签： 深度学习 计算机视觉 pytorch
于 2022-03-28 17:28:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42809268/article/details/123799733
版权

超分辨率综述
Image Super-resolution 的深度学习方法
微信二维码引擎OpenCV开源
微信扫码背后的图像超分辨率技术
技术解析 | 即构移动端超分辨率技术
DIV2K数据集下载
B100/Manga109/Set5/Set14/Urban100 提取码：q4ev

超分难点延伸出的技术方向
上采样倍数是整数无极放大
人造的退化图像与现实有差距现实场景超分、盲超分
推理时间长轻量超分
需要低分与高分图像对无监督超分
评价指标与主观不一致–

论文

1、ARM: Any-Time Super-Resolution Method ECCV2022、腾讯优图

此前的方法无法在推理时根据推理样本和可用计算资源动态调整计算开销，因次此一个模型无法适应多种设备平台和多变的资源情况。
基于此，我们提出一种任意时间超分方法（ARM），从而使得一个超分网络能够在推理时调整为任意的计算开销。第一，我们训练了一个包含不同大小子网的ARM超网，其中包含多个推理开销不同的子网，以便在推理时进行切换。第二，我们基于边缘检测分数与PSNR的相关性的发现，构建了一个Edge-to-PSNR查找表，用于通过边缘分数来预测不同子网对某个样本的预期PSNR。第三，我们设计了一个由超参η控制的子网选择函数，该函数可以根据不同子网的预期PSNR和对应的计算量进行子网的选择。

最后在推理时，我们设计了一套patch切分、patch推理、patch拼接的推理流程，其中patch推理的部分使用子网选择函数自适应地选择子网进行推理。实验结果显示本文方法效果超过了最先进的动态超分方法，并在FSRCNN、CARN和SRResNet等经典超分骨干网络上的实验结果取得的SOTA的效果。
在这里插入图片描述

人脸超分

在这里插入图片描述
GCFSR: a Generative and Controllable Face Super Resolution Method Without Facial and GAN Priors

实时视频超分

Real-Time Super-Resolution System of 4K-Video Based on Deep Learning
github
paper
高糊视频秒变4K，速度快了9倍！东南大学提出新的视频超分辨率系统
在这里插入图片描述

在这里插入图片描述

不适定问题

图像超分辨率是一个典型的不适定问题，因为低分辨图像与它对应的高分辨图像之间是个一对多的关系。适定问题需要同时满足三个条件：① 解是存在的；② 解是唯一的；③ 解是稳定的。

图像复原、图像重建

在这里插入图片描述
在这里插入图片描述

图像重建（Image Reconstruction）是从分散或不完整的数据（如医学成像研究中获取的辐射读数）生成二维或三维图像，有必要应用一个数学公式来生成一个可读和可用的图像，或者使图像锐化以使其有用，图像重建有助于从一系列单独的相机图像生成人体的三维图像。

超分商业应用

《海上钢琴师》重映背后,AI超分算法的高光与阴影
SuperResolution论文与应用简介：基于深度学习的图像超分辨率方法
HMS Core机器学习服务图像超分能力，基于深度学习提升新闻阅读体验
Real-CUGAN，B站推出的图像视频AI超分算法模型（AI放大）

超分无极放大

1、Meta-SR（旷视科技）
在这里插入图片描述

2、LIIF-SR（英伟达）
在这里插入图片描述
无极超分辨率
真正的无极放大！30x插值效果惊艳，英伟达等开源LIIF
LIIF官网

opencv的超分接口

1、github入口，只能cpu推理，只支持4个模型
在这里插入图片描述
2、超分和双三次性能对比
在这里插入图片描述

纹理的学习

Learning Texture Transformer Network for Image Super-Resolution
在这里插入图片描述

盲超分

盲超分也有HR，只不过它的训练集研究的是未知退化图片的超分，非盲超分的输入LR是对HR通过固定退化函数（如双三次插值，高斯核）下采样得到。
最新！基于深度学习的盲图像超分技术一览

传统超分辨率方法

1、插值方法
2、基于稀疏表示（字典学习）的方法
3、基于局部嵌入（Neighbor Embedding）的方法
4、Example-Based的方法
图像超分辨——传统方法
OpenCV图像插值方法的比较
图像超分辨率技术简介

深度学习超分辨率

  • 论文
    VDSR
    Accurate Image Super-Resolution Using Very Deep Convolutional Networks, CVPR2016
    第一个将全局残差引入SR的方法，使得训练速度明显加快，低分辨率图像携带的低频信息与高分辨率图像的低频信息相近，训练时带上这部分会多花费大量的时间，实际上只需要学习高分辨率图像和低分辨率图像之间的高频部分残差即可。残差网络结构的思想特别适合用来解决超分辨率问题，可以说影响了之后的深度学习超分辨率方法。
    SRGAN(SRResNet)
    Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network, CVPR2017
    将生成对抗网络用在了解决超分辨率问题上。文章提到，训练网络时用均方差作为损失函数，虽然能够获得很高的峰值信噪比，但是恢复出来的图像通常会丢失高频细节，使人不能有好的视觉感受。SRGAN利用感知损失(perceptual loss)和对抗损失(adversarial loss)来提升恢复出的图片的真实感。
    EDSR
    Enhanced Deep Residual Networks for Single Image Super-Resolution, CVPR2017
    是NTIRE2017超分辨率挑战赛上获得冠军的方案。EDSR最有意义的模型性能提升是去除掉了SRResNet多余的模块，从而可以扩大模型的尺寸来提升结果质量。主要使用了增强的ResNet，移除了batchnorm，使用了L1 loss训练

  • 图像超分基本不使用Batch Normalization

  • LapSRN可实现同时多个尺寸超分，Meta-SR可实现任意尺寸超分。

  • 现在超分基本都是基于双三次插值退化模型的超分，用于真实环境效果不是很理想。

  • 亚像素卷积和反卷积进行上采样

  • PSNR及SSIM评价指标
    在这里插入图片描述
    其中 I 、K表示两个MxN的单色图像。 MAX表示图像点颜色的最大值，如果像素值为【0,255】则MAX=255。如果像素值为【0,1】则MAX=1。对于彩色图像来说PSNR的定义类似，只是MSE 是所有方差之和除以图像尺寸再除以 3；或者RGB转换到YCbCr空间，只考虑亮度通道来计算PSNR和SSIM。

    PSNR是图像、视频处理领域应用最广的性能量化方法，计算复杂度小，实现速度快，已经应用在视频编码标准H.264、H.265中。尽管PSNR具有上述特点，但是局限性很明显，受像素点的影响比较大，与主观评价一致性比较低，没有考虑人类视觉系统（Human Visual System， HVS）的一些重要的生理、心理、物理学特征。基于HVS，提出了误差灵敏度分析和结构相似度分析（Structural SIMilarity Index, SSIM）的评价方法。
    在这里插入图片描述

    结构相似性SSIM从亮度、对比度和结构这三个方面来评估两幅图像的相似性。结构相似性理论认为，自然图像具有极高的结构性，表现在图像的像素间存在着很强的相关性，尤其是在空间相似的情况下。这些相关性在视觉场景中携带着关于物体结构的重要信息。假设人类视觉系统（HSV）主要从可视区域内获取结构信息。所以通过探测结构信息是否改变来感知图像失真的近似信息。

    作为结构相似性理论的实现，结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。

    大多数的基于误差敏感度（error sensitivity）的质量评估方法(如MSE,PSNR)使用线性变换来分解图像信号，这不会涉及到相关性。SSIM意在找到更加直接的方法来比较失真图像和参考图像的结构。

质量评估背景

  • 质量评估可分为图像质量评估（Image Quality Assessment, IQA）和视频质量评估（Video Quality Assessment, VQA）。IQA从方法上可分为主观评估和客观评估。主观评估就是从人的主观感知来评价图像的质量，首先给出原始参考图像和失真图像，让标注者给失真图像评分，一般采用平均主观得分（Mean Opinion Score, MOS）或平均主观得分差异（Differential Mean Opinion Score, DMOS）表示。客观评估使用数学模型给出量化值，可以使用图像处理技术生成一批失真图像，操作简单，已经成为IQA研究的重点。图像质量评估算法的目标是自动评估与人的主观质量判断相一致的客观图像质量。然而，主观评估费时费力，在实际应用中不可行，并且主观实验受观看距离、显示设备、照明条件、观测者的视觉能力、情绪等诸多因素影响。 因此，有必要设计出能够自动精确的预测主观质量的数学模型。

  • IQA按照原始参考图像提供信息的多少一般分成3类：全参考(Full Reference-IQA, FR-IQA)、半参考(Reduced Reference-IQA, RR-IQA)和无参考(No Reference-IQA, NR-IQA), 无参考也叫盲参考(Blind IQA, BIQA)。

  • FR-IQA同时有原始(无失真、参考)图像和失真图像,难度较低，核心是对比两幅图像的信息量或特征相似度，是研究比较成熟的方向。

  • NR-IQA只有失真图像，难度较高，是近些年的研究热点，也是IQA中最有挑战的问题。NR-IQA类算法还可以细分成两类，一类研究特定类型的图像质量，比如估计模糊、块效应、噪声的严重程度，另一类估计非特定类型的图像质量，也就是一个通用的失真评估。一般在实际应用中无法提供参考图像，所以NR-IQA最有实用价值，也有着广泛的应用，使用起来也非常方便，同时，由于图像内容的千变万化并且无参考，也使得NR-IQA成为较难的研究对象。

  • RR-IQA只有原始图像的部分信息或从参考图像中提取的部分特征，此类方法介于FR-IQA和NR-IQA之间，且任何FR-IQA和NR-IQA方法经过适当加工都可以转换成RR-IQA方法。

IQA的评估指标

  • 衡量图像质量评估结果的指标有很多，每种指标都有自己的特点，通常比较模型客观值与观测的主观值之间的差异和相关性。常见的2种评估指标是线性相关系数（Linear Correlation Coefficient, LCC）和Spearman秩相关系数（Spearman’s Rank Order Correlation Coefficient, SROCC）。
  • LCC也叫Pearson相关系数（PLCC），描述了主、客观评估之间的线性相关性，
  • SROCC衡量算法预测的单调性
    在这里插入图片描述

传统算法

  • FR-IQA（全参考图像质量评估）

    PSNR、SSIM等等类似于特征

  • NR-IQA（无参考图像质量评估）

    有针对具体失真类型的：比如模糊、块效应、jpeg压缩、噪声等

    基于通用类型的：转化为分类或者回归问题，使用特定的特征进行训练。特征要么统计提取，要么通过机器学习或深度学习发现。

    （1）有基于SVM的方法，提取图像空间域/变换域特征，再基于SVM等模型：代表算法：BIQI， DIIVINE，BRISQUE
    （2）概率模型：代表算法：BLIINDS，NIQE
    （3）基于码本的方法：代表算法：CORNIA

深度学习算法

  • 主要用于NR-IQA
    CNN的优势之一是可以直接将原始图像作为输入，并将特征学习融入到训练过程中。 CNN具有深层次的结构，可以有效地学习复杂的映射，同时要求最小的领域知识。
我想去拉萨
关注
  • 2
    点赞
  • 踩
  • 45
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
图像超分辨率重建基础代码
10-18
basic_sr.zip
盲图像超分辨综述
qq_41620742的博客
12-16 2072
盲图像超分辨率（SR），旨在超分辨低分辨率图像，因其在促进现实应用中的意义而受到越来越多的关注。最近提出了许多新的和有效的解决方案，特别是使用强大的深度学习技术。尽管经过了多年的努力，但它仍然是一个具有挑战性的研究问题。本文系统综述了盲图像SR的研究进展，提出了根据退化建模方法和数据将现有方法分为三个不同类别的分类法。这个分类法有助于总结和区分现有的方法。我们希望提供对当前研究状态的见解，并揭示值得探索的新研究方向。最后，我们总结了常用的数据集和以往有关盲图像SR的比赛。最后，通过对不同方法的比较，详细分析
RTC2020_EfficientSR: 高效实时超分辨率重建技术
gitblog_00073的博客
04-02 284
RTC2020_EfficientSR: 高效实时超分辨率重建技术 项目地址:https://gitcode.com/zdyshine/RTC2020_EfficientSR RTC2020_EfficientSR 是一个开源项目，旨在提供一种高效的实时视频超分辨率（Super-Resolution）解决方案。该项目基于深度学习，利用神经网络模型将低分辨率视频提升到高分辨率，从而提高视觉体验，特别...
图像超分辨——传统方法（个人总结）
热门推荐
SimonCoder的专栏
11-07 2万+
根据自己的经验总结一下图像超分辨的方法，图像超分辨（Image Super Resolution）可以分为传统方法和深度学习方法，传统方法一直都在出paper，最近几年深度学习在处理图像、文本、语音的任务上表现出了一定的优势，所以基于深度学习做超分辨在最近几年发了很多paper，包括最早地将CNN用于超分辨，后来的ResNet，GAN等。 lena的原始图像为512×512，lena x4为1/...
【图像盲超】Deep Constrained Least Squares for Blind Image Super-Resolution 基于深度约束最小二乘的盲图像超分辨率算法
m0_46507285的博客
03-30 5780
本文提出了一种改进的退化模型和两个新的模型来解决盲图像超分辨率问题。该方法继承了盲随机共振的一般方法，改进了核估计方法和基于核的高分辨率图像恢复方法。更具体地说，我们首先重新表述退化模型，以便将去模糊核估计转移到低分辨率空间。在此基础上，引入了动态深线性滤波模块。它不需要为所有图像学习一个固定的核，而是可以根据输入自适应地生成去模糊核权值，并产生更稳健的核估计。然后，在重构核和估计核的基础上，应用深度约束最小二乘滤波模块生成干净的特征。然后，将去模糊特征和低输入图像特征馈入双路径结构化SR网络，并恢复最终的
超分辨率分析（一）--传统方案综述
工作笔记
03-06 1万+
转自：https://www.cnblogs.com/wxl845235800/p/9292972.html 图像超分辨率率(super resolution,SR)是指由一幅低分辨率图像(low resolution,LR)或图像序列恢复出高分辨率图像(high resolution,HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像...
【超分辨率】3分钟带你读懂
mjiansun的专栏
07-25 6529
超分辨率技术是指从观测到的低分辨率图像重建出相应的高分辨率图像，随着深度学习技术的发展，超分辨率技术在电影、医疗影像、游戏等领域的应用，也愈发广泛。在本文中，帝视科技将深入探讨超分辨率的背景及原理，解释超分辨率的配置和训练模型。是影像的一个最小的抽象取样。每个像素通常对应于空间中一个特定的“位置”，并且有一个或者多个与那个点相关的采样值组成数值。将图像或影片从低分辨率转化为高分辨率，恢复或补足丢失的细节，往往需要用到超分辨率技术。一般是指用有限数值表示的像素组成的数字图像。超分辨率、插值算法、深度学习。..
超分辨率概述
Lce的专栏
10-19 6683
超分辨率(Super-Resolution)通过硬件或软件方法提高原有图像的分辨率，通过一幅或者多幅低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建，可以通过人工智能深度学习将低分辨率视频重建成高分辨率视频模糊图像、视频瞬间变高清，为移动端为用户带来极致视频体验。广义的超分辨率 (SR, Super Resolution) 是指一类用于提升图像分辨率的技术。这类技术已经存在了很长一段时间，应用也非常广泛。
图像视频超分辨率基本概念
happyrobot01的博客
09-14 3482
视频超分是由图像超分发展而来的。基于深度学习的图像超分辨率(SISR)首次实现于2014年，推广到视频超分是在2017年，由此可见超分辨率还是一个比较新颖的课题方向。 超分类任务主要源自对图像视频信息的传输和恢复。在实际生活中，有很多情况下需要对图像或者视频进行传输，而由于视频图像的分辨率越来越高，体积越来越大，传输成本比如网络带宽等也在不断提升。因此对图像或者视频进行下采样（压缩）之后再进行传输，到达客户端以后在对图像视频进行恢复（restore）是很有必要的(比如微...
【图像超分辨（SR）】一文通俗解释blind SR（盲超分）和non-blind SR（非盲超分）的区别
qq_43426078的博客
03-03 1万+
blind和non-blind的区别用一句话来概括就是：是否假设退化核已知并将其作用于图像来做网络训练。 non-blind Super Resolution： 这类方法在训练过程中都假设了退化核(也可以叫退化函数，其实就是degradation)已知，也就是说，在训练过程中一般都会使用一个确定的退化核从HR得到LR，然后来做训练。 深度学习做超分早期的大部分工作都是non-blind SR，一般过程是，把假设已知的退化核作用在图像上得到退化后的LR图像，用LR和HR来训练网络，得到的网络在面对同样退化核产
人工智能之超分辨率算法详解
记录 IT 领域经验与见解的博客
05-19 3923
科学家们利用深度学习算法，训练神经网络提取低分辨率图像中的高分辨率细节信息，并通过逐渐加深和优化网络结构，从而实现更加准确和精细的超分辨率处理。超分辨率算法是一种基于机器学习和深度学习的技术，能够将低分辨率图像（LR）增强到高分辨率图像（HR），从而实现图像的超分辨率（SR），提升图像清晰度的能力。超分辨率算法的本质是一种图像恢复问题，即通过对低分辨率图像的处理，得到高分辨率图像。超分辨率算法的主要任务是通过机器学习和深度学习等技术，从低分辨率图像中提取出更丰富的高分辨率图像信息，来实现图像的超分辨率。
红外图像超分辨率重建.zip
09-14
重建过程包括三个部分：图像配准、非均匀性内插及去模糊与去噪。图像配准精度越高，超分辨率重建效果越好，而图像分辨率越高，则图像配准精度越高，并以此为基础提出了一种联合图像配准的超分辨率重建算法
图像超分辨率复原方法及应用
02-04
介绍了超分辨率复原方法的概念和理论基础，重点总结了一些常用的超分辨率复原理论的国内外研究现状，并对它们的理论依据、优缺点和适用范围进行了详尽分析，对超分辨率复原理论的应用领域进行了介绍。超分辨率复原...
基于Matlab的多图像超分辨率重建算法
10-23
多图像超分辨率的实现主要就是将具有相似而又不同却又互相补充信息的配准影像融到一起，得到非均匀采样的较高分辨率数据，复原需要亚像素精度的运动矢量场，然而它们之间的运动模型估计精确与否直接影响到重建的效果...
基于深度学习的红外图像超分辨率重建
06-07
为提升红外图像分辨率，本文构建了用于红外图像超分辨率重建的IEDSR（enhanced deep residual networks for infrared image super-resolution）网络。该网络在EDSR网络模型的基础上加入了池化层，避免了EDSR...
LLM2Vec介绍和将Llama 3转换为嵌入模型代码示例
deephub
05-05 424
通过LLM2Vec，我们可以使用LLM作为文本嵌入模型。但是简单地从llm中提取的嵌入模型往往表现不如常规嵌入模型。LLM2Vec的作者提出了新的训练目标MNTP和SimCSE来训练从llm中提取的嵌入模型。这种训练成本很高，但根据作者的说法，可以产生更好的嵌入模型。
基于光伏电站真实数据集的深度学习预测模型（Python代码，深度学习五个模型）
qq_40840797的博客
04-29 479
3.模型（LSTM；LSTM_transform模型）评价指标。前6行的10列数据（黄色部分）作为特征输入，第7行的第10列数据（红色部分）为标签。每一行前9列（黄色部分） 作为特征输入，每一行的第10列值作为标签（红色部分）根据已获取的历史数据预测下一个时间点或者未来多个时间点 更符合实际。5. 对数据集和代码感兴趣的，可以关注最后一行。1min是以1min 间隔采集的数据集。这里分别保存了不同间隔采样时间表格。数据集截图（开始位置截图）4.效果图(测试集)
强化学习和深度学习的差异对比
天道酬勤
04-26 1143
它是通过展示大量的图片和相应的标签（例如，“猫”、“狗”等）来学习识别模式的，就像是你通过看不同的猫的图片来学习认识猫一样。如果你的问题涉及到需要做出一系列连续的决策，并且需要考虑环境的反馈以优化某种目标（比如控制机器人、制定金融投资策略等），那么强化学习可能是更合适的选择。有时，深度学习和强化学习可以结合使用，形成深度强化学习（DRL），以利用深度学习在表征学习方面的优势，并将其与强化学习的决策能力结合起来。强化学习通常需要更少的标记数据，因为学习是通过与环境的交互来实现的，而不是直接从标记数据中学习。
深度学习：基于Keras，使用长短期记忆神经网络模型LSTM和RMSProp优化算法进行销售预测分析
最新发布
稻草人的博客
05-05 667
预测是使用过去的值和许多其他因素来预测未来的值。在本文中，我们将使用 `Keras` 功能 API 创建一个销售预测模型。首先，所有输入都经过预处理，以便机器能够理解。这是一个基于监督学习的线性回归模型，因此输出将与输入一起提供。然后，输入连同期望的输出一起被馈送到模型。该模型将绘制(学习)输入和输出之间的关系(函数)。然后，该函数或关系用于预测特定输入集的输出。在这种情况下，像日期和以前的销售额这样的输入参数被标记为输入，销售额被标记为输出。
超分辨率领域基础知识
09-09
在超分辨率领域，有几种常用的方法和理论基础。其中一种方法是插值方法，它通过对低分辨率图像进行插值来得到高分辨率图像。另一种方法是基于稀疏表示（字典学习）的方法，它通过学习低分辨率图像与高分辨率图像之间...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值