畅游计算机视觉的海洋

本专栏研究领域为【超分辨率重建】，涵盖图像超分、视频超分，实时超分，4K修复等方面。主要内容包括主流算法模型的论文精读、论文复现、毕业设计、涨点手段、调参技巧、论文写作、应用落地等方面。算法模型从SRCNN开始更新至今，一般是一篇论文精读对应一篇论文复现。论文精读详解理论，归化繁为简，归纳核心，积累词句，培养阅读论文和论文写作能力。论文复现依托Pytorch代码，实现完整的模型训练流程，总结调参方法，记录碰到的bug，论文插图可视化，培养读写代码能力、做实验的能力、以及应用落地能力。

【图像超分】论文精读：Image Super-Resolution Using Deep Convolutional Networks（SRCNN）请配合上述论文精读文章使用，效果更佳！图像超分辨率SRCNN和FSRCNN复现代码，除基本的网络实现外，还有特征图可视化，PSNR曲线图可视化，测试自己的图像数据等不想理解原理，希望直接跑通然后应用到自己的图像数据的同学，请直接下载上面的代码，有训练好的模型，直接用即可。具体使用方式见代码中的README！有问题来本文评论区留言！准备数据集，以及数据预处理。

我们提出了一种用于单幅图像超分辨率(SR)的深度学习方法。我们的方法直接学习低/高分辨率图像之间的端到端映射。该映射被表示为深度卷积神经网络(CNN)，它以低分辨率图像为输入，输出高分辨率图像。我们进一步表明，传统的基于稀疏编码的 SR 方法也可以被视为深度卷积网络。但是与单独处理每个组件的传统方法不同，我们的方法联合优化所有层。我们的深度 CNN 具有轻量级结构，但展示了最先进的恢复质量，并实现了实际在线使用的快速速度。我们探索了不同的网络结构和参数设置，以实现性能和速度之间的权衡。此外，我们扩展了我们的

论文题目：DAQ: Channel-Wise Distribution-Aware Quantization for Deep Image Super-Resolution Networks —— DAQ：用于深度图像超分辨率网络的通道级分布感知量化WACV 2022！提升超分网络性能！由于深度神经网络 (DNN) 的复兴，图像超分辨率 (SR) 最近在提高低分辨率图像质量方面取得了巨大进展，但代价是计算资源和资源的巨大成本。最近，已经有一些努力通过量化使 DNN 更有效。

论文题目：Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution —— DAQ：用于深度图像超分辨率网络的通道级分布感知量化CVPR 2024！超越RealBasicVSR、StableSR！最新视频超分！开源啊！一直不开源都快一年了！基于文本的扩散模型在生成和编辑方面取得了显著的成功，显示出通过其生成先验来增强视觉内容的巨大潜力。

论文题目：AdaBM: On-the-Fly Adaptive Bit Mapping for Image Super-Resolution —— AdaBM:图像超分辨率的Fly自适应位映射CVPR 2024！超分加速模块！显著提升速度！尽管图像超分辨率 (SR) 问题使用深度神经网络经历了前所未有的恢复精度，但由于计算成本巨大，它还没有有限的通用应用。由于 SR 的不同输入图像面临不同的恢复困难，因此基于输入图像（称为自适应推理）调整计算成本已成为压缩 SR 网络的一种有前途的解决方案。

论文题目：A Dynamic Kernel Prior Model for Unsupervised Blind Image Super-Resolution —— 无监督盲图像超分辨率的动态核先验模型CVPR 2024！基于深度学习的方法在解决盲超分辨率(BSR)问题上取得了显著的成功。然而，它们中的大多数要求对标记数据集进行有监督的预训练。本文提出了一种无监督核估计模型，称为动态核先验(DKP)，实现了一种基于无监督和预训练的无学习算法来解决BSR问题。

论文题目：SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution —— SeeSR:面向语义感知的真实世界图像超分辨率CVPR 2024！由于强大的生成先验，预训练的文本到图像 (T2I) 扩散模型在解决真实世界的图像超分辨率问题方面变得越来越流行。然而，由于输入低分辨率(LR)图像的质量退化严重，局部结构的破坏会导致图像语义模糊。因此，再现高分辨率图像的内容可能存在语义错误，降低了超分辨率性能。

论文题目：Boosting Flow-based Generative Super-Resolution Models via Learned Prior —— 通过学习先验提高基于流的生成超分辨率模型CVPR 2024！基于流的超分辨率(SR)模型在生成高质量的图像方面表现出了惊人的能力。然而，由于采样温度固定，这些方法在图像生成过程中遇到了一些挑战，例如网格伪影、爆炸逆和次优结果。为了克服这些问题，这项工作在基于流的 SR 模型的推理阶段之前引入了一个条件学习。

论文题目：Sparsity-Based Super Resolution for SEM Images —— 基于稀疏性的SEM图像超分辨率SEM图像超分！用于该领域的相关工作内容和参考文献！扫描电子显微镜（SEM）是一种电子显微镜，通过用聚焦的电子束扫描样品来产生样品的图像。电子与样品中的原子相互作用，原子发射出包含表面形貌和成分信息的二次电子。电子束逐点扫描样品，直到形成表面图像。自1942年发明以来，SEM的能力在发现和理解纳米世界方面变得至关重要，如今它被广泛用于研究和工业。

本文将介绍【超分】领域论文写作通用提纲，包含摘要、介绍、相关工作、算法模型、实验、结论、参考文献等。注：不同期刊和会议每个部分不太一样，每个部分的句数、段数、如何写作也不绝对，仅供参考，读者根据自己需要适当修改。前2句话介绍背景：第一句话陈述背景事实，第二句话引出我们的算法要解决的问题第3句话介绍问题：本文工作所针对并在一定程度上解决的问题。

本文将介绍超分辨率论文中网络结构图的绘制，包括3D立体效果的网络结构、2D平面结构以及相关组件的绘制。笔者照着几个主流模型绘制的，文末附PPT模板下载链接！

论文题目：Using Deep Learning Super-Resolution for Improved Segmentation of SEM Biofilm Images —— 利用深度学习超分辨率改进SEM生物膜图像分割Bibm 2022！利用超分提升SEM生物图像分割效果扫描电子显微镜(SEM)图像通过提供关于生物膜形成、超微结构、细胞及其与材料相互作用的详细信息，在材料生物膜的定量分析中起着至关重要的作用。

论文题目：CFAT: Unleashing Triangular Windows for Image Super-resolution —— CRAFT：用于图像超分辨率的展开三角窗口CVPR 2024！基于 Transformer 的模型通过利用它们捕获复杂上下文特征的固有能力彻底改变了图像超分辨率 (SR) 领域。如今，变压器架构中使用的重叠矩形移位窗口技术是超分辨率模型中提高图像放大质量和稳健性的常见做法。然而，它在边界处存在失真，并且具有独特的移位模式。

论文题目：SeD: Semantic-Aware Discriminator for Image Super-Resolution —— SeD:图像超分辨率语义感知鉴别器CVPR 2024！生成对抗网络 (GAN) 已被广泛用于恢复图像超分辨率 (SR) 任务中生动的纹理。特别是，一个鉴别器被用来使SR网络能够以对抗训练的方式学习真实世界高质量图像的分布。然而，分布学习过于粗粒度，容易受到虚拟纹理的影响，并导致违反直觉的生成结果。

论文题目：Toward Real-World Single Image Super-Resolution: A New Benchmark and A New Model —— 迈向真实世界的单图像超分辨率：一个新的基准和一个新的模型ICCV 2019！重名的RealSR！现有的基于学习的单图像超分辨率 (SISR) 方法大多在模拟数据集上进行训练和评估，其中低分辨率 (LR) 图像是通过对高分辨率 (HR) 对应物应用简单且统一的退化（即双三次下采样）来生成的。

论文题目：Closed-loop Matters: Dual Regression Networks for Single Image Super-Resolution —— 闭环问题:单幅图像超分辨率的双回归网络CVPR 2020！深度神经网络通过学习从低分辨率(LR)图像到高分辨率(HR)图像的非线性映射函数，在图像超分辨率(SR)方面表现出了良好的性能。然而，现有的 SR 方法有两个潜在的限制。

论文题目：Efficient Long-Range Attention Network for Image Super-resolution —— 用于图像超分辨率的高效远程注意网络ECCV 2022！最近，基于转换器的方法通过利用自注意力 (SA) 进行特征提取，在各种视觉任务中展示了令人印象深刻的结果，包括图像超分辨率 (SR)。然而，大多数现有基于转换器的模型中 SA 的计算非常昂贵，而一些使用的操作对于 SR 任务可能是冗余的。这限制了 SA 计算的范围，从而限制了 SR 性能。

数据增强是提高深度网络性能的有效方法。不幸的是，目前的方法大多是为高级视觉任务(如分类)开发的，很少针对低级视觉任务(如图像恢复)进行研究。在本文中，我们对应用于超分辨率任务的现有增强方法进行了全面分析。我们发现丢弃或操纵像素或特征的方法太大阻碍了图像恢复，其中空间关系非常重要。基于我们的分析，我们提出了CutBlur，它切割低分辨率补丁并将其粘贴到相应的高分辨率图像区域，反之亦然。CutBlur 的关键直觉是使模型能够不仅学习“如何”，还可以学习“在哪里”来超分辨率图像。

虽然基于深度神经网络的单幅图像超分辨率(SISR)方法越来越受欢迎，但它们主要是为广泛使用的双三次退化而设计的，而且它们仍然面临着用任意模糊核超分辨率低分辨率(LR)图像的基本挑战。同时，即插即用图像恢复由于其模块化结构，易于插入去噪先验，具有很高的灵活性。在本文中，我们提出了一种原则性的公式和框架，通过在即插即用框架的帮助下扩展基于双三次退化的深度SISR来处理具有任意模糊核的LR图像。具体来说，我们设计了一种新的SISR退化模型，以利用现有的模糊核估计的盲去模糊方法。

基于卷积神经网络 (CNN) 的方法最近在图像超分辨率 (SR) 方面取得了巨大成功。然而，大多数基于深度 CNN 的 SR 模型试图改进失真度量（例如 PSNR、SSIM、IFC、VIF），同时导致量化感知质量较差（例如人类意见分数、无参考质量度量如 NIQE）。很少有作品试图以失真度量的性能下降为代价来提高感知质量。最近的一项研究表明，失真和感知质量彼此不一致，两者之间总是有一个权衡。通常，在感知质量方面优于恢复算法在失真度量方面较差。我们的工作试图分析单幅图像SR问题的失真和感知质量之间的权衡。

本文考虑了一种基于深度生成对抗网络(GAN)的方法，称为单幅图像超分辨率(SISR)的感知增强超分辨率(PESR)，通过考虑以下三个问题来增强重建图像的感知质量:(1)通过用相对论鉴别器替换绝对来简化GAN训练，(2)包括在损失函数中，强调纹理通常丰富的困难训练样本的机制，(3)在测试时提供灵活的质量控制方案，以权衡感知和保真度。基于对六个基准数据集的广泛实验，PESR 在感知质量方面优于最近最先进的 SISR 方法。

近年来，深度学习在单图像超分辨率 (SISR) 性能方面取得了巨大飞跃。虽然大多数现有的工作假设一个简单而固定的退化模型(如双三次下采样)，但盲SR的研究试图提高模型泛化能力，退化未知。最近，Kong等人[37]利用Dropout[63]研究了更合适的盲SR训练策略。尽管这种方法确实通过减轻过度拟合带来了实质性的改进，但我们认为 Dropout 同时引入了不希望的副作用，这损害了模型忠实地重建精细细节的能力。我们在本文中展示了理论和实验分析，此外，我们提出了另一种简单而有效的训练策略，通过简单地调制模型的一

Dropout 旨在缓解高级视觉任务中的过拟合问题，但很少应用于低级视觉任务，例如图像超分辨率 (SR)。作为经典的回归问题，SR 表现出与高级任务不同的行为，并且对 dropout 操作很敏感。然而，在本文中，我们表明适当使用 dropout 有利于 SR 网络并提高泛化能力。具体来说，dropout 更好地嵌入到网络的末尾，并且对多重退化设置有很大帮助。这一发现打破了我们的常识，启发我们探索其工作机制。我们进一步使用两个分析工具——一个来自最近的网络解释工作，另一个是专门为此任务设计的。

论文题目：Image Super-Resolution Using Very Deep Residual Channel Attention Networks —— 基于非常深的残差通道注意网络的图像超分辨率【图像超分】论文精读：Image Super-Resolution Using Very Deep Residual Channel Attention Networks（RCAN）请配合上述论文精读文章使用，效果更佳！

之前，我们分析了Python计算的PSNR/SSIM与Matlab计算的PSNR/SSIM的差别，其主要原因来自imresize的不同。【深度思考】为什么评价指标PSNR、SSIM和论文中的不一样？一文搞清超分辨率主流benchmarks测试集Set5等的PSNR、SSIM的计算方式以及python与matlab的imresize差别那么，本文将在不添加额外代码的情况下，实现论文中PSNR/SSIM的计算。Pytorch代码+Python计算指标+Matlab处理测试集！

在本文中，我们提出了一种残差非局部注意网络，用于高质量的图像恢复。在不考虑损坏图像中信息分布不均匀的情况下，以往的方法受到局部卷积运算的限制，对空间和通道特征进行同等处理。为了解决这个问题，我们设计了局部和非局部注意块来提取捕获像素之间的远程依赖关系的特征，并更加关注具有挑战性的部分。具体来说，我们在每个（非）局部注意块中设计主干分支和（非）局部掩码分支。主干分支用于提取分层特征。本地和非本地掩码分支旨在自适应地重新缩放这些具有混合注意力的分层特征。局部掩码分支专注于更多具有卷积操作的局部结构，而非局部注意

近年来，深度学习方法已成功应用于单图像超分辨率任务。尽管深度学习方法具有出色的性能，但由于计算量大，不能轻易应用于实际应用。在本文中，我们通过提出一种精确、轻量级的图像超分辨率深度网络来解决这个问题。具体来说，我们设计了一种在残差网络上实现级联机制的架构。我们还提出了所提出的级联残差网络的变体模型，以进一步提高效率。我们广泛的实验表明，即使参数和操作要少得多，我们的模型也实现了与最先进方法相当的性能。

单图像超分辨率是从单个低分辨率输入推断高分辨率图像的任务。传统上，该算法对该任务的性能是使用像素级重建度量来衡量的，例如峰值信噪比 (PSNR)，这已被证明与人类对图像质量的感知相关性很差。因此，最小化这些指标的算法往往会产生过度平滑的图像，这些图像缺乏高频纹理，尽管产生高 PSNR 值，但看起来并不自然。我们提出了一种新的自动纹理合成应用，结合感知损失，专注于创建真实的纹理，而不是在训练过程中优化地面真实图像的像素精确再现。通过在对抗训练设置中使用前馈全卷积网络，我们在高放大率下显着提高了图像质量。在

大型深度网络在单图像超分辨率 (SISR) 中表现出了具有竞争力的性能，涉及大量数据。然而，在现实世界的场景中，由于可访问的训练对有限，大型模型表现出不良行为，例如过度拟合和记忆。为了抑制模型过拟合并进一步享受模型容量大的优点，我们彻底研究了提供额外训练数据对的通用方法。特别是，我们引入了一个简单的学习原理MixUp[42]来训练样本对插值的网络，这鼓励网络支持训练样本之间的线性行为。此外，我们提出了一种学习退化的数据合成方法，使模型能够使用额外的内容多样性更高的高质量图像。这种策略被证明成功地减少了数据的

我们介绍了 SinGAN，这是一种无条件生成模型，可以从单个自然图像中学习。我们的模型经过训练以捕获图像中补丁的内部分布，然后能够生成与图像具有相同视觉内容的高质量、多样化的样本。SinGAN 包含一个完全卷积的 GAN 金字塔，每个金字塔负责在图像的不同尺度下学习补丁分布。这允许生成任意大小的和纵横比的新样本，这些样本具有显着的可变性，但同时维护训练图像的全局结构和精细纹理。与之前的单幅图像GAN方案相比，我们的方法并不局限于纹理图像，也不是有条件的(即它从噪声生成样本)。

最近，非常深的卷积神经网络 (CNN) 在图像恢复中引起了相当大的关注。然而，随着深度的增长，这些非常深的模型很少实现长期依赖问题，这导致先验状态/层对后续状态几乎没有影响。受人类思想具有持久性这一事实的启发，我们提出了一个非常深的持久记忆网络（MemNet），它引入了一个由递归单元和门单元组成的记忆块，通过自适应学习过程明确地挖掘持久记忆。递归单元学习不同感受野下当前状态的多级表示。前一个内存块的表示和输出被连接起来并发送到门单元，该单元自适应地控制应该保留多少先前的状态，并决定应该存储多少当前状态。

基于模型的优化方法和判别学习方法是解决低级视觉中各种逆问题的两个主要策略。通常，这两种方法各有优缺点，例如基于模型的优化方法可以灵活地处理不同的逆问题，但通常需要复杂的先验才能获得良好的性能;同时，判别学习方法测试速度快，但其应用范围受到专业任务的限制很大。最近的研究表明，在可变分裂技术的帮助下，去噪先验可以作为基于模型的优化方法的模块化部分插入，以解决其他逆问题(如去模糊)。当通过判别学习获得降噪器时，这种集成会产生相当大的优势。然而，仍然缺乏与快速判别降噪器先验的集成研究。为此，本文旨在训练一组快速有效

本文将介绍三种制作超分论文实验视觉对比局部放大图的方法。目标1：制作类似SRCNN中图14的局部放大图，SR上有框选的感兴趣区域，放大部分叠在SR的某个角上。此外，下图（图像来自SRFS图1）这种连线的局部放大图也算在目标1中：目标2：绘制SRFS中图17的局部放大图，竖向排列每个模型的局部放大结果，第一列是带框的SR。这里是多个不同的图像，我们的方法可以选择多个不同的框展示在同一列上，原理类似，根据自己需要稍加修改。

上一篇文章我们用python项目的形式重新复现了SRCNN，本文我们将以相同形式重新复现FSRCNN。与复现SRCNN不同，本文我们将在SRCNN的项目代码中添加FSRCNN，以便未来将模型都整合在一个项目中，不用再一个一个项目打开测试模型了，提高效率。【图像超分】论文复现：Pytorch实现SRCNN！保姆级复现教程！提供完整代码和最优权重模型(x2、x3、x4)！科研级论文曲线图！计算平均PSNR和SSIM！代码Windows和Linux都可用！

LR：模型输入input，低分辨率图像HR：模型标签label/target，高分辨率图像，也即GT（ground-truth）SR：LR经过模型超分后的结果，即super-resolution result。benchmarks：一套标准，包括算法、数据集以及相关内容，本文我们将其指代为基于数据集，超分中常见的benchmarks为Set5、Set14、BSD100、URBAN100、MANGA109等。

由于很多同学反应没用过jupyter notebook，更习惯用pycharm项目的形式跑代码。于是，本文将用pycharm项目的形式，重新复现SRCNN！【图像超分】论文复现：新手入门！Pytorch实现SRCNN，数据预处理、模型训练、测试、评估全流程详解，注释详细，简单修改就可以训练你自己的图像数据，有训练好的模型下载地址，随取随用。

图像超分辨率(SR)的最新进展探索了深度学习的力量，以实现更好的重建性能。然而，在现有的基于深度学习的图像SR方法中，通常存在于人类视觉系统中的反馈机制尚未得到充分利用。在本文中，我们提出了一种图像超分辨率反馈网络（SRFBN）来细化具有高级信息的低级表示。具体来说，我们使用 RNN 中的隐藏状态和约束来实现这种反馈方式。反馈块旨在处理反馈连接并生成强大的高级表示。所提出的 SRFBN 具有很强的早期重建能力，可以逐步创建最终的高分辨率图像步骤。此外，我们引入了一种课程学习策略，使网络非常适合更复杂的任务，

随着深度学习的发展，单图像超分辨率 (SISR) 取得了长足的进步。然而，现有的研究大多集中在构建具有大量层的更复杂的网络。最近，越来越多的研究人员开始探索 Transformer 在计算机视觉任务中的应用。然而，视觉 Transformer 的计算成本高和高 GPU 内存占用无法被忽略。在本文中，我们提出了一种用于 SISR 的新型高效超分辨率转换器 (ESRT)。ERT 是一个混合模型，由轻量级 CNN 主干 (LCB) 和轻量级 Transformer 主干 (LTB) 组成。其中，LCB可以动态调整

基于深度学习的方法在单图像超分辨率 (SISR) 中取得了出色的性能。然而，高效超分辨率的最新进展侧重于减少参数和 FLOP 的数量，并通过复杂的层连接策略提高特征利用率来聚合更强大的特征。这些结构可能不是实现更高运行速度所必需的，这使得它们难以部署到资源受限的设备上。在这项工作中，我们提出了一种新颖的残差局部特征网络（RLFN）。主要思想是使用三个卷积层进行残差局部特征学习来简化特征聚合，从而在模型性能和推理时间之间取得了良好的平衡。此外，我们重新审视了流行的对比损失，并观察到其特征提取器中间特征的选择对