畅游计算机视觉的海洋

本专栏研究领域为【超分辨率重建】，涵盖图像超分、视频超分，实时超分，4K修复等方面。主要内容包括主流算法模型的论文精读、论文复现、毕业设计、涨点手段、调参技巧、论文写作、应用落地等方面。算法模型从SRCNN开始更新至今，一般是一篇论文精读对应一篇论文复现。论文精读详解理论，归化繁为简，归纳核心，积累词句，培养阅读论文和论文写作能力。论文复现依托Pytorch代码，实现完整的模型训练流程，总结调参方法，记录碰到的bug，论文插图可视化，培养读写代码能力、做实验的能力、以及应用落地能力。

【图像超分】论文精读：Image Super-Resolution Using Deep Convolutional Networks（SRCNN）请配合上述论文精读文章使用，效果更佳！图像超分辨率SRCNN和FSRCNN复现代码，除基本的网络实现外，还有特征图可视化，PSNR曲线图可视化，测试自己的图像数据等不想理解原理，希望直接跑通然后应用到自己的图像数据的同学，请直接下载上面的代码，有训练好的模型，直接用即可。具体使用方式见代码中的README！有问题来本文评论区留言！准备数据集，以及数据预处理。

我们提出了一种用于单幅图像超分辨率(SR)的深度学习方法。我们的方法直接学习低/高分辨率图像之间的端到端映射。该映射被表示为深度卷积神经网络(CNN)，它以低分辨率图像为输入，输出高分辨率图像。我们进一步表明，传统的基于稀疏编码的 SR 方法也可以被视为深度卷积网络。但是与单独处理每个组件的传统方法不同，我们的方法联合优化所有层。我们的深度 CNN 具有轻量级结构，但展示了最先进的恢复质量，并实现了实际在线使用的快速速度。我们探索了不同的网络结构和参数设置，以实现性能和速度之间的权衡。此外，我们扩展了我们的

具有生成对抗网络 (GAN) 的单图像超分辨率 (SISR) 最近因其生成丰富细节的潜力而受到越来越多的关注。然而，GAN 的训练是不稳定的，它通常会引入许多感知上令人不快的伪影以及生成的细节。在本文中，我们证明了训练一个基于 GAN 的 SISR 模型，该模型可以稳定地生成感知逼真的细节，同时抑制视觉伪影。基于观察到工件区域的局部统计(如残差方差)通常与感知友好的细节区域不同，我们开发了一个框架来区分gan生成的工件和真实的细节，从而生成工件映射来正则化和稳定模型训练过程。我们提出的局部判别学习 (LDL

最近提出的深度超分辨率网络的前馈架构学习低分辨率输入的表示，以及从那些到高分辨率输出的非线性映射。然而，这种方法并不能完全解决低分辨率图像和高分辨率图像的相互依赖关系。我们提出了深度反投影网络（DBPN），它利用迭代上采样和下采样层，为每个阶段的投影误差提供误差反馈机制。我们构建了相互连接的上采样和下采样阶段，每个阶段代表不同类型的图像退化和高分辨率组件。我们表明，扩展这个想法以允许跨上采样和下采样阶段 (Dense DBPN) 连接特征使我们能够重建进一步改进超分辨率，产生更好的结果，特别是为大型数据集（

众所周知，如果假设的退化模型与真实图像中的退化模型偏离，单图像超分辨率 (SISR) 方法表现不佳。尽管考虑了几个退化模型，例如模糊，但它们仍然不够有效，无法覆盖真实图像的不同退化。为了解决这个问题，本文提出设计一个更复杂但实用的退化模型，该模型由随机打乱的模糊、下采样和噪声退化组成。具体地说，模糊由两个各向同性和各向异性高斯核的卷积近似；下采样是从最近的、双线性和双三次插值中随机选择的；噪声是通过添加具有不同噪声水平的高斯噪声来合成的，采用具有不同质量因子的JPEG压缩，并通过反向前向相机图像信号处理(I

论文题目：Residual Dense Network for Image Super-Resolution —— 用于图像超分辨率的残差密集网络【图像超分】论文精读：Residual Dense Network for Image Super-Resolution（RDN）请配合上述论文精读文章使用，效果更佳！虽然论文中为了丰富内容用了很多缩写，并且写的很详细。这对于论文复现者来说是很友好的，尤其是网络结构的实现上，非常清晰。

基于深度卷积的单幅图像超分辨率(SISR)网络包含了从大规模外部图像资源中学习局部恢复的好处，但现有的研究大多忽略了自然图像中的远程特征相似性。最近的一些工作通过探索非局部注意模块成功地利用了这种内在特征相关性。然而，目前的深度模型都没有研究图像的另一个固有属性：跨尺度特征相关性。在本文中，我们提出了第一个跨尺度非局部 (CS-NL) 注意力模块，并集成到循环神经网络中。通过将新的 CS-NL 先验与强大的循环融合单元中的局部和尺度内非局部先验相结合，我们可以在单个低分辨率 (LR) 图像中找到更多的跨尺度

信息特征在单图像超分辨率任务中起着至关重要的作用。通道注意力已被证明可以有效地保留每一层的信息丰富特征。然而，通道注意力将每个卷积层视为一个单独的过程，该过程错过了不同层的相关性。为了解决这个问题，我们提出了一种新的整体注意力网络（HAN），它由一个层注意模块（LAM）和一个通道空间注意模块（CSAM）组成，用于对层、通道和位置之间的整体相互依赖关系进行建模。具体来说，所提出的 LAM 通过考虑层之间的相关性自适应地强调层次特征。同时，CSAM 学习每个通道所有位置的置信度，以选择性地捕获更多信息特征。大量

尽管卷积神经网络 (CNN) 最近已经证明了单图像超分辨率 (SR) 的高质量重建，但恢复自然和逼真的纹理仍然是一个具有挑战性的问题。在本文中，我们展示了可以恢复忠实于语义类的纹理。特别是，我们只需要在以语义分割概率图为条件的单个网络中调制几个中间层的特征。这是通过一种新颖的空间特征变换(SFT)层实现的，该层为空间特征调制生成仿射变换参数。SFT 层可以与使用相同损失函数的 SR 网络进行端到端训练。在测试过程中，它接受任意大小的输入图像，并生成高分辨率图像，只需以分类先验为条件的单次前向传递。我们的最终

我们介绍了 SUPIR（缩放-UP 图像恢复），这是一种开创性的图像恢复方法，它利用生成先验和模型放大的力量。利用多模态技术和先进的生成先验，SUPIIR标志着智能和真实的图像恢复。作为SUPIR中的关键催化剂，模型缩放极大地增强了其能力，并展示了图像恢复的新潜力。我们收集了一个包含 2000 万个高分辨率、高质量图像的数据集进行模型训练，每个数据集都丰富了描述性文本注释。SUPIR提供了恢复文本提示引导的图像的能力，扩大了其应用范围和潜力。此外，我们引入了负质量提示来进一步提高感知质量。我们还开发了一种恢

图像超分辨率 (SR) 的进步最近显着受益于深度神经网络的快速发展。受这些最近发现的启发，我们注意到许多最先进的深度 SR 架构可以重新表述为具有有限展开的单状态循环神经网络 (RNN)。在本文中，我们基于这种紧凑的 RNN 视图探索了 SR 的新结构，从而产生了双状态设计、双状态循环网络 (DSRN)。与在固定空间分辨率下运行的单态对应物相比，DSRN 联合利用了低分辨率 (LR) 和高分辨率 (HR) 信号。通过延迟反馈在两个方向（LR 到 HR 和 HR 到 LR）之间交换循环信号。对基准数据集和最近

自然图像中的非局部自相似性已被很好地研究，作为图像恢复的有效先验。然而，对于单图像超分辨率 (SISR)，大多数现有的深度非局部方法（例如非局部神经网络）仅在低分辨率 (LR) 输入图像的相同尺度内利用相似的补丁。因此，恢复仅限于使用相同的尺度信息，而忽略了来自其他尺度的潜在高分辨率 (HR) 线索。在本文中，我们探索了自然图像的跨尺度补丁递归特性，即相似的补丁往往在不同的尺度上重复多次。这是通过一种新颖的跨尺度内部图神经网络 (IGNN) 实现的。具体来说，我们通过在 LR 图像中为每个查询补丁搜索下采样

卷积神经网络 (CNN) 深度对于图像超分辨率 (SR) 至关重要。然而，我们观察到更深层次的图像 SR 网络更难训练。低分辨率输入和特征包含丰富的低频信息，在通道之间平等对待，从而阻碍了cnn的表示能力。为了解决这些问题，我们提出了非常深的残差通道注意网络（RCAN）。具体来说，我们提出了一种残差 (RIR) 结构中的残差来形成非常深的网络，该网络由几个具有长跳跃连接的残差组组成。每个残差组都包含一些具有短跳跃连接的残差块。同时，RIR 允许通过多个跳跃连接绕过丰富的低频信息，使网络专注于学习高频信息。

Pytorch实现SRResNet！代码修改无报错！踩坑全记录！适合各种深度学习新手！帮助你少走弯路！附修改后的代码和PSNR最优的模型权重文件！将SRResNet单独训练，方便做实验测试！SRResNet的模型性能达到最优，可以用于论文中实验的对比方法和测试自己的图像数据

论文题目：Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution —— 用于快速准确的超分辨率的深度拉普拉斯金字塔网络【图像超分】论文精读：Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution（LapSRN）请配合上述论文精读文章使用，效果更佳！

Pytorch实现EDSR！代码修改无报错！踩坑全记录！适合各种深度学习新手！帮助你少走弯路！附修改后的代码和PSNR最优的模型权重文件！讲解细致，EDSR流程全通，代码注释丰富，适合新手入门阅读！深度思考，踩坑报错全记录，代码中均已修正！python实现matlab中的RGB转YCbCr，解决matlab.engine无法使用的问题！EDSR的性能与论文接近！

第一次来请先看这篇文章：【超分辨率（Super-Resolution）】关于【超分辨率重建】专栏的相关说明，包含专栏简介、专栏亮点、适配人群、相关说明、阅读顺序、超分理解、实现流程、研究方向、论文代码数据集汇总等）本文亮点：论文地址：Image Super-Resolution Using Dense Skip Connections本文对应论文精读：【图像超分】论文精读：Image Super-Resolution Using Dense Skip Connections（SRDenseNet）请配合上述

【图像超分】论文精读：SRResNet/SRGAN【图像超分】论文复现：万字长文！Pytorch实现SRResNet代码修改无报错！踩坑全记录！适合各种深度学习新手！帮助你少走弯路！附修改后的代码和PSNR最优的模型权重文件！请配合上述论文精读文章使用，效果更佳！与原论文描述不一样的实现部分，也即可以修改的部分数据集使用：论文中是ImageNet随机选35000张图像，本文是VOC2012数据集16700张图像。数据集预处理：裁剪大小不同，论文是96×96，本文是88×88。

最近，深度卷积神经网络 (CNN) 在单图像超分辨率 (SISR) 中得到了广泛的探索，并获得了卓越的性能。然而，现有的大多数基于cnn的SISR方法主要集中在更广泛或更深的架构设计上，忽略了探索中间层的特征相关性，从而阻碍了cnn的表示能力。为了解决这个问题，在本文中，我们提出了一个二阶注意力网络（SAN），用于更强大的特征表达和特征相关性学习。具体来说，开发了一种新的可训练的二阶通道注意 (SOCA) 模块，通过使用二阶特征统计来自适应地重新缩放通道特征以获得更具辨别力的表示。此外，我们提出了一种非局部

场发射扫描电子显微镜因其有效性而成为医学和材料科学领域的基本研究工具。然而，场发射扫描电子显微镜的分辨率与其视场之间存在固有的矛盾。为了解决这个问题，我们提出了一种基于深度学习方法的电子显微镜方法，该方法可以同时获得较大的视场和超高分辨率。为了解决超分辨率问题，设计了一种基于残差学习和注意力机制的深度残差注意力网络，其中骨干网络使用多个残差组来有效地提取特征；此外，注意力组附加主干部分来细化和融合特征。此外，还添加了一个高频信息保留模块来获取高频信号，作为深度残差网络的有效补充。由于电子显微镜缺乏超分辨率数

单图像超分辨率从低分辨率图像中恢复丢失的结构和纹理，引起了研究界的广泛关注。该领域表现最好的包括深度或宽卷积神经网络或循环神经网络。然而，这些方法强制单个模型处理各种纹理和结构。一个典型的操作是，某一层根据前一层恢复的纹理恢复纹理，忽略图像纹理的特征。在本文中，我们认为图像中的低频和高频信息具有不同的复杂程度，应该由不同表征能力的模型恢复。受此启发，我们提出了一种新的嵌入块残差网络(EBRN)，它是纹理超分辨率的增量恢复进度。具体来说，模型中的不同模块恢复了不同频率的信息。对于低频信息，我们使用网络的较浅模

图像恢复是一个长期存在的低级视觉问题，旨在从低质量图像中恢复高质量图像（例如，缩小、噪声和压缩图像）。虽然最先进的图像恢复方法是基于卷积神经网络，但很少有人尝试变形金刚，这在高级视觉任务中显示出令人印象深刻的性能。在本文中，我们提出了一种基于 Swin Transformer 的图像恢复的强大基线模型 SwinIR。SwinIR由三部分组成:浅层特征提取、深层特征提取和高质量图像重建。特别是，深度特征提取模块由几个残差 Swin Transformer 块 (RSTB) 组成，每个块具有多个 Swin Tr

扫描电子显微镜(SEM)是材料表征最常用的重要工具。它提供了两种扫描模式——快速扫描模式快速获取图像，但这些图像分辨率较低(LR)，扫描模式缺失，细节缓慢，获取高分辨率(HR)和细节丰富的图像，但耗时较长。这限制了 SEM 的使用，为了解决上述权衡问题，我们提出了 SRFS，这是一种基于扩散的超分辨率 (SR) 网络，在 SEM 的快慢扫描模式下。据我们所知，这是第一次在 SEM 的快慢扫描模式下图像 SR。与之前的SR方法相比，SRFS可以生成SR图像，学习感知图像补丁相似度(LPIPS)为0.1414，

尽管在盲超分辨率中已经进行了许多尝试来恢复退化未知和复杂图像的低分辨率图像，但它们仍然远未解决一般的真实世界退化图像。在这项工作中，我们将强大的 ESRGAN 扩展到使用纯合成数据训练的实际实现应用程序（即 Real-ESRGAN）。具体来说，引入了一个高阶退化建模过程来更好地模拟复杂的现实世界退化。我们还在合成过程中考虑了常见的振铃和超调伪影。此外，我们使用具有光谱归一化的 U-Net 鉴别器来增加鉴别器能力并稳定训练动态。广泛的比较表明，它在各种真实数据集上比以前的工作具有更好的视觉性能。我们还提供有效

我们提出了一种视频超分辨率和去模糊联合学习方案，称为VSRDB，用于从模糊的低分辨率(LR)视频中恢复干净的高分辨率(HR)视频。与单一恢复问题相比，这种联合恢复问题引起了的关注要少得多。在本文中，我们提出了一种新的流引导动态滤波(FGDF)和多注意迭代特征细化(FRMA)，它构成了我们的VSRDB框架，表示为FMA-Net。具体来说，我们提出的FGDF可以通过复杂的运动表示学习精确估计时空变化退化和恢复核，这些核知道运动轨迹。与传统的动态滤波相比，FGDF使FMA-Net能够有效地处理VSRDB中的大运动

在本文中，我们证明了在相同的参数和计算预算下，ReLU激活前具有更广泛特征的模型对于单图像超分辨率 (SISR) 具有显着更好的性能。生成的 SR 残差网络在每个残差块的激活之前具有更宽的 (2× 到 4 倍) 通道的小恒等映射路径。为了在不增加计算开销的情况下进一步扩大激活(6×到9×)，我们在SR网络中引入线性低秩卷积，实现了更好的精度-效率权衡。此外，与批量归一化或没有归一化相比，我们发现使用权重归一化进行训练可以提高深度超分辨率网络的准确性。我们提出的SR网络WDSR在计算复杂度相同或更低的PSNR

一个非常深的卷积神经网络 (CNN) 最近在图像分类 (SR) 方面取得了巨大成功，并提供了分层特征。然而，大多数基于深度 CNN 的 SR 模型没有充分利用原始低分辨率 (LR) 图像中的层次特征，从而实现相对较低的性能。在本文中，我们提出了一种新的残差密集网络(RDN)来解决图像SR中的这个问题。我们充分利用所有卷积层的分层特征。具体来说，我们提出了残差密集块（RDB）通过密集连接的卷积层提取丰富的局部特征。RDB 进一步允许将前一个 RDB 的状态与当前 RDB 的所有层直接连接，从而产生连续的内存

卷积神经网络最近证明了单图像超分辨率的高质量重建。在本文中，我们提出了拉普拉斯金字塔超分辨率网络(LapSRN)来逐步重建高分辨率图像的子带残差。在每个金字塔级别，我们的模型以粗分辨率的特征图作为输入，预测高频残差，并使用转置卷积进行上采样到更精细的级别。我们的方法不需要双三次插值作为预处理步骤，从而大大降低了计算复杂度。我们使用稳健的 Charbonnier 损失函数使用深度监督训练所提出的 LapSRN，并实现高质量的重建。此外，我们的网络通过渐进式重建在一次前馈传递中生成多尺度预测，从而促进资源感知应

最近的研究表明，利用深度卷积神经网络可以显著提高单幅图像超分辨率方法的性能。在这项研究中，我们提出了一种新的单图像超分辨率方法，通过在非常深的网络中引入密集的跳跃连接。在所提出的网络中，每一层的特征图被传播到所有后续层，提供了一种有效的方法来结合低级特征和高级特征来提高重建性能。此外，网络中的密集跳跃连接使短路径可以直接从输出构建到每一层，缓解了非常深的网络的梯度消失问题。此外，将反卷积层集成到网络中以学习上采样滤波器并加速重建过程。此外，所提出的方法大大减少了参数的数量，提高了计算效率。

超分辨率生成对抗网络(SRGAN)[1]是一项开创性的工作，能够在单幅图像超分辨率过程中生成逼真的纹理。然而，幻觉细节往往伴随着令人不快的伪影。为了进一步提高视觉质量，我们深入研究了SRGAN的三个关键组件——网络架构、对抗性损失和感知损失，并改进它们中的每一个以获得增强的SRGAN (ESRGAN)。特别是，我们引入了无批归一化的残差密集块(RRDB)作为基本网络构建单元。此外，我们借鉴了相对论GAN[2]的思想，让鉴别器预测相对真实性而不是绝对值。

深度模型在单图像超分辨率 (SISR) 任务上取得了显着过程，特别是具有大内核 (3 × 3 或更多) 的大型模型。然而，此类模型的大量计算足迹阻碍了它们在实时、资源受限的环境中部署。相反，1 × 1 卷积带来了可观的计算效率，但在聚合局部空间表示方面存在困难，这是 SISR 模型的基本能力。为了应对这种二分法，我们建议协调 3 ×3 和 1 × 1 内核的优点，并利用轻量级 SISR 任务的巨大潜力。具体来说，我们提出了一个简单而有效的全卷积网络，称为基于 Shift-Conv 的网络 (SCNet)。通

尽管使用更快更深的卷积神经网络在单幅图像超分辨率的准确性和速度方面取得了突破，但一个中心问题在很大程度上仍未解决：当我们在大型放大因子上超分辨率时，我们如何恢复更精细的纹理细节。基于优化的超分辨率方法的行为主要是由目标函数的选择驱动的。最近的工作主要集中在最小化均方重建误差上。生成的估计具有较高的峰值信噪比，但它们通常缺乏高频细节，并且在感知上不令人满意，因为它们无法匹配更高分辨率的保真度。在本文中，我们提出了SRGAN，一种用于图像超分辨率(SR)的生成对抗网络(GAN)。据我们所知，这是第一个能够为4×

现有的超分辨率(SR)模型主要关注恢复局部纹理细节，往往忽略了场景中的全局语义信息。这种疏忽可能导致在恢复过程中遗漏关键的语义细节或引入不准确的纹理。在我们的工作中，我们引入了认知超分辨率 (CoSeR) 框架，使 SR 模型具有理解低分辨率图像的能力。我们通过结合图像外观和语言理解来生成认知嵌入来实现这一点，它不仅激活来自大型文本到图像扩散模型的先验信息但也有助于生成高质量的参考图像来优化SR过程。为了进一步提高图像保真度，我们提出了一种新的条件注入方案，称为“All-in-Attention”，将所有条

最近对超分辨率的研究随着深度卷积神经网络 (DCNN) 的发展取得了进展。特别是，残差学习技术表现出更好的性能。在本文中，我们开发了一个增强的深度超分辨率网络（EDSR），其性能超过了当前最先进的 SR 方法。我们模型的显着性能改进是由于通过删除传统残差网络中不必要的模块进行优化。当我们稳定训练过程时，通过扩展模型大小可以进一步提高性能。我们还提出了一种新的多尺度深度超分辨率系统(MDSR)和训练方法，该方法可以在单个模型中重建不同缩放因子的高分辨率图像。所提出的方法在基准数据集上比最先进的方法表现出更好的

我们报告了使用生成对抗网络的扫描电子显微镜 (SEM) 图像中的分辨率增强。我们通过推断低分辨率 SEM 图像中的未解析特征并将它们与相同样本的准确共同配准的高分辨率 SEM 图像进行比较来证明这种基于深度学习的超分辨率技术的准确性。通过空间频率分析，我们还报告了我们的方法生成具有频谱的图像，该频谱匹配相同视场的更高分辨率的 SEM 图像。通过使用这种技术，可以更快地获取更高分辨率的 SEM 图像，同时还可以减少样品的电子充电和损坏。

虽然现实世界的动漫超分辨率(SR)在SR社区中受到越来越多的关注，但现有的方法仍然采用照片级真实感领域的技术。在本文中，我们分析了动漫制作工作流程，并重新思考如何为了现实世界的动漫 SR 使用它的特征。首先，我们认为由于重复使用手绘帧，视频网络和数据集对于动漫 SR 不是必需的。相反，我们通过从视频源中选择最压缩和信息量最大的帧，提出了一种动漫图像收集管道。基于这个管道，我们介绍了 Anime Production-oriented Image (API) 数据集。此外，我们确定了扭曲和微弱的手绘线和不需要

我们提出了一种新的方法来利用封装在预先训练的文本到图像扩散模型中的先验知识进行盲超分辨率(SR)。具体来说，通过使用我们的时间感知编码器，我们可以在不改变预训练的合成模型的情况下实现有希望的恢复结果，从而保留生成先验并最小化训练成本。为了解决扩散模型固有随机性造成的保真度损失，我们采用了一个可控的特征包装模块，该模块允许用户在推理过程中简单地调整标量值来平衡质量和保真度。此外，我们开发了一种渐进聚合采样策略来克服预训练扩散模型的固定大小约束，从而能够适应任何大小的分辨率。

【图像超分】论文精读：Image Super-Resolution via Deep Recursive Residual Network (DRRN)请配合上述论文精读文章使用，效果更佳！

【图像超分】论文精读：Accurate Image Super-Resolution Using Very Deep Convolutional Networks (VDSR)请配合上述论文精读文章使用，效果更佳！本文综合现有的VDSR相关代码，用pytorch实现极简风格的VDSR，复现论文。