SRDiff: Single image super-resolution with diffusion probabilistic models 2022 Neurocomputing

于 2024-09-06 17:14:13 发布
阅读量855 收藏 20
点赞数 24
分类专栏： Diffusion 论文精读 文章标签： 人工智能 计算机视觉 深度学习 Diffusion 扩散模型 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53826699/article/details/141960906
版权

目录

一、Motivation

二、Contribution

三、Method

3.1 Conditional Noise Predictor

3.2 LR Encoder

3.3 Training and Inference

1. Training

2. Inference

四、Experiment

4.1 Experimental Settings

1. Datasets

2. Compared Methods

4.2 Performance

五、Conclusion

SRDiff: Single image super-resolution with diffusion probabilistic models - ScienceDirect
GitHub - LeiaLi/SRDiff

一、Motivation

过平滑问题：传统的PSNR导向方法的目标是优化全局像素级别的差异，往往导致生成的图像细节丢失，变得过于平滑。

模式崩溃：GAN驱动的方法容易陷入模式崩溃，生成的图像缺乏多样性，无法覆盖所有可能的结果。

模型足迹过大：流基方法通常需要大量参数，导致模型体积庞大，训练成本高。

因此，文章提出了一种新颖的扩散概率模型（SRDiff），旨在通过逐步将高斯噪声转化为超分辨率图像，从而生成多样且高质量的超分辨率结果，同时保持较小的模型规模和高效的训练过程。

二、Contribution

我们提出了一种新颖的单幅图像超分辨率（SISR）扩散概率模型（SRDiff），旨在解决之前模型中的过平滑、模式崩溃和模型体积过大等问题。具体而言：

信息提取：SRDiff利用预训练的低分辨率（LR）编码器将LR图像转换为隐藏条件。

图像生成：通过条件噪声预测器，SRDiff迭代地恢复高分辨率（HR）图像。

加速收敛：引入残差预测，通过计算HR和LR图像之间的差异作为初始输入，帮助模型专注于恢复高频细节。

三、Method

如图 2所示，SRDiff 建立在包含两个过程的 T 步扩散模型之上：扩散过程和反向过程。我们没有直接预测 HR 图像，而是应用残差预测来预测 HR 图像 xH 和上采样 LR 图像 x Lð Þ 之间的差异，并将差异表示为输入残差图像 x0。

3.1 Conditional Noise Predictor

  • 条件噪声预测器的主要目标是从潜在变量中预测添加的高斯噪声，以便逐步恢复高分辨率（HR）图像。
  • 该预测器采用了U-Net架构，能够有效捕捉图像的局部和全局特征（U-Net的跳跃连接设计允许模型同时利用低层和高层特征，增强了细节恢复的能力）。
  • 条件噪声预测器的输入包括当前的潜在变量、扩散时间步和通过低分辨率编码器生成的隐藏条件；输出是对当前潜在变量中噪声的估计，这些估计将在反向过程中用于逐步生成HR图像。
  • 在训练阶段，模型通过最小化预测噪声与实际添加噪声之间的差异来优化噪声预测的准确性。

3.2 LR Encoder

  • LR编码器的主要任务是将输入的低分辨率图像转化为隐藏条件，以提取有效的特征信息，为后续的高分辨率图像生成提供支持。编码器生成的隐藏条件包含了关于输入图像的关键信息，这些信息在条件噪声预测器中被进一步使用，以实现更精确的噪声预测和高分辨率图像生成。
  • 该编码器采用了基于残差网络（ResNet）的结构，能够捕捉图像中的丰富特征，并通过多层卷积操作有效提取低分辨率图像的特征。
  • LR编码器接收低分辨率图像作为输入，并输出经过编码后的特征表示，这些特征为模型的反向过程提供了必要的信息。
  • 编码器的训练与整个模型的训练过程相结合，通过优化损失函数来提高特征提取的效果，从而增强最终生成图像的质量。

3.3 Training and Inference

1. Training

  • 目标：训练的主要目标是优化条件噪声预测器和低分辨率编码器，以提高模型生成高分辨率（HR）图像的能力。

  • 损失函数：使用变分下界（ELBO）作为损失函数来进行训练。通过最小化预测噪声与实际添加噪声之间的差异，来提升噪声预测的准确性。

  • 数据准备：训练过程中，模型使用配对的低分辨率（LR）和高分辨率（HR）图像作为输入。通过对LR图像进行多次扩散处理，生成相应的噪声数据。

  • 优化算法：采用标准的优化算法（如Adam）来更新模型参数，确保训练过程的稳定性和收敛性。

2. Inference

  • 初始化：在推理阶段，首先从高斯分布中随机采样一个潜在变量，作为生成HR图像的起始点。

  • 逐步生成：通过反向过程，模型逐步将潜在变量转化为HR图像。每一步都使用条件噪声预测器预测当前步骤中应去除的噪声，并更新潜在变量。

  • 输入信息：在每个步骤中，条件噪声预测器使用当前的潜在变量、扩散时间步和通过LR编码器生成的隐藏条件，以生成更准确的输出。

  • 输出结果：经过多个反向步骤后，模型生成的HR图像将作为推理结果输出

四、Experiment

4.1 Experimental Settings

1. Datasets

CelebFaces Attributes Dataset (CelebA) 

Z. Liu, P. Luo, X. Wang, X. Tang, Deep learning face attributes in the wild, in: ICCV, 2015..

DIV2K 和 Flickr2K dataset

R. Timofte, S. Gu, J. Wu, L. Van Gool, Ntire 2018 challenge on single image super-resolution: methods and results, in: CVPR Workshops, 2018..

2. Compared Methods

PSNR导向方法、GAN驱动方法和流基方法

4.2 Performance

挺常规的，不写了，这篇文章总体来说方法和实验部分都较为常规，所以只能发个二区吧

五、Conclusion

在本文中，我们提出了 SRDiff，它是 SISR 的第一个基于扩散的模型，据我们所知。我们的工作首先利用马尔可夫链将HR图像转换为简单分布中的潜在变量。然后，我们进行了反向过程，该过程通过使用以 LR 信息为条件的噪声预测器迭代地去噪潜在变量来生成 SR 预测。为了加速收敛过程并稳定训练过程，SRDiff 引入了残差预测。我们对人脸和一般数据集的广泛实验表明，SRDiff 可以生成多样化和逼真的 SR 图像。此外，理论和性能都表明，我们的方法能够分别解决面向 PSNR 的方法、GAN 驱动方法和基于流的方法中出现的过度平滑、模式崩溃和大量占用问题。此外，SRDiff 允许灵活的图像处理，包括潜在空间插值和内容融合。我们的方法生成的多样化 SR 结果可以为用户根据需求选择提供更多参考。我们的方法揭示了潜在的新研究方向。未来，我们将进一步提高所开发的基于扩散的SISR模型的性能，加快推理过程。我们还将我们的工作扩展到更多的图像恢复任务（例如图像去噪、去模糊和去雾），以验证扩散模型在图像恢复领域的潜力。

JennnyZhang
关注
专栏目录
单张图像扩散模型(Single Image DIffusion Model)
weixin_44370695的博客
06-12 282
去噪扩散模型（DDM）在图像生成、编辑和恢复方面带来了惊人的性能飞跃。然而，现有DDM使用非常大的数据集进行训练。在这里，介绍一个用于在单个图像上训练DDM的框架。SinDDM，通过使用多尺度扩散过程来学习训练图像的内部统计信息。为了驱动反向扩散过程，使用了一个完全卷积的轻量级去噪器，它取决于噪声水平和标度。SinDDM生成各种高质量的样本，并适用于广泛的任务，包括风格转移和哈尔monization。特别地，实验演示了使用预先训练的CLIP模型从单个图像进行文本引导生成。
SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记
weixin_46872424的博客
01-20 4272
本文是基于扩散模型提出的超分辨方法，通过算法来看其实本质上是通过用图像的噪声来对高频信息进行预测，最后再和上采用图进行相加，得到的即为高分辨率图片。在一些数据集上取得了不错的效果，并且该模型在图像的内容融合上和潜在空间插值可以取得不错的效果。
【图像超分辨率】SRFeat: Single Image Super-Resolution with Feature Discrimination 阅读笔记
weixin_43514766的博客
04-27 854
????Paper：SRFeat: Single Image Super-Resolution with Feature Discrimination ????Abstract 基于生成对抗网络（GAN）的SISR方法可以并合成逼真的高频纹理，达到较好的视觉效果。但是，这种基于GAN的方法的结果往往会引入与输入图像无关的，无意义的高频噪声。在本文中，我们提出了一种新的基于GAN的SISR方法，通过附加一个在特征域工作的额外的判别器，克服了传统GAN的限制，并产生了更真实的结果。 通过在特征上区分合成图像和
推荐开源项目：SRDiff - 单张图像超分辨率的扩散概率模型
最新发布
gitblog_00088的博客
06-10 546
推荐开源项目：SRDiff - 单张图像超分辨率的扩散概率模型 项目地址:https://gitcode.com/LeiaLi/SRDiff 在这个快速发展的计算机视觉领域中，图像超分辨率(Super-Resolution, SR)是一种重要的技术，它能够从低分辨率图像恢复出高清晰度的细节。SRDiff 是一个令人瞩目的开源项目，它首次将扩散概率模型应用到单张图像超分辨率任务中，旨在解决传统方法中...
文献阅读:SRFeat: Single Image Super-Resolution with Feature Discrimination
暮日落流年的博客
01-05 2857
文章地址： http://openaccess.thecvf.com/content_ECCV_2018/html/Seong-Jin_Park_SRFeat_Single_Image_ECCV_2018_paper.html 作者的项目地址：SRFeat-Tensorlayer 1 简单介绍     虽然已有的基于GAN的超分辨率方法能够被用来生成真实的纹...
扩散模型（Diffusion Model）最新综述！
热门推荐
zandaoguang的博客
09-15 1万+
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达本综述来自西湖大学李子青实验室、香港中文大学Pheng-Ann Heng和浙江大学陈广勇团队，对现有的扩散生成模型进行了全面的回顾。本文首先提出了diffusion model改进算法的细化分类与深度解析，同时对diffusion model的应用进行了系统的回顾，最后率先汇总领域内benchmarks。这也促进了后续工作《Dif...
让你的图像更清晰！华为诺亚方舟实验室基于昇思MindSpore，发布底层视觉套件MindSpore Editing 1.0
Kenji_Shinji的博客
12-01 1242
支持的模型包括：多任务模型(IPT、VRT、RVRT)、视频超分辨率(BasicVSR、BasicVSR++ light、TTVSR)、图像去噪(NOAHTCV)、视频去噪(EMVD)、图像超分辨率(RRDB、FSRCNN、SRDiff)、图像去模糊(MIMO-Unet、NAFNet)、视频插帧(IFR+)、基于3D的多帧去噪(MPFER)等。MindSpore Editing支持超分、去噪、去模糊、修复、视频插帧、去雨等典型底层视觉任务，支持每类任务的数据处理、训练、微调、部署、推理、评测功能。
SR3 - Image Super-Resolution via Iterative Refinement.pdf
10-16
该方法利用去噪扩散概率模型（denoising diffusion probabilistic models），特别是借鉴了[17, 48]中的思想，将这些模型应用于条件图像生成，通过一个随机的迭代去噪过程实现超分辨率。SR3的核心在于，它从纯高斯...
论文阅读——Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
weixin_44012382的博客
08-19 2840
前言 之前有一段时间看了挺多深度学习方面的论文，但是由于时间方面的问题一直没来得及进行总结。最近一段时间突发奇想把自己看论文时的学习笔记给记录一下，由于之前没写过博文，所以排版可能会有点emmm...一言难尽。专业方面的知识，如果有理解不到位的地方欢迎各位大佬指教。 Abstract 最近，使用卷积网络实现超分辨率的研究集中在最小化均方重构误差这一方向。这种方法可达到较高的峰值信噪比，但是恢复出的图片缺乏纹理细节。 文章提出了一种SRGAN网络，基于感知相似进行对抗训练，使网络可以从低分辨率图像中恢
high-resolution image synthesis with latent diffusion models
liguandong
12-26 4989
vae的生成器，是将标准高斯映射到数据样本，vae的后验是将数据样本映射到标准高斯（学出来的）。我现在想要设计一种方法A，使得A用一种简单的变分后验将数据样本映射到标准高斯，并且使得A的生成器，将标准高斯映射到数据样本，注意，因为生成器的搜索空间大于变分后验，vae的效率远不及A方法，因为A是学一个生成器（搜索空间大），所以可以直接模仿这个后验分布的一小步，A方法就是括但模型核心思路：定义一个类似于变分后验的从数据样本到高斯分布的映射，然后学一个生成器，这个生成器模仿我们定义的这个映射的每一小步。
Text2Video-Zero:Text-to-Image Diffusion Models are Zero-Shot Video Generators
liguandong
05-29 1626
上面这个图是本文的核心，首先从latent code开始，使用进过预训练好的sd中的DDIM反向传播得x，此处得到就是一帧一帧的图像，为每一帧指定一个运动场，这个运动场就是所谓的motion dynamics，通过变形函数W来完成，然后再通过DDPM前向将其编码到latent code中，此时的latent code就具备了全局运动一致性，通过DDPM是因为可以在对象的运动方面获得更大的自由度，最后，将latent code传递给修改后的sd产生一帧一帧的视频。4.结合controlnet。
【图像超分/扩散模型】论文精读：Exploiting Diffusion Prior for Real-World Image Super-Resolution（StableSR）
畅游计算机视觉的海洋
03-26 7649
我们提出了一种新的方法来利用封装在预先训练的文本到图像扩散模型中的先验知识进行盲超分辨率(SR)。具体来说，通过使用我们的时间感知编码器，我们可以在不改变预训练的合成模型的情况下实现有希望的恢复结果，从而保留生成先验并最小化训练成本。为了解决扩散模型固有随机性造成的保真度损失，我们采用了一个可控的特征包装模块，该模块允许用户在推理过程中简单地调整标量值来平衡质量和保真度。此外，我们开发了一种渐进聚合采样策略来克服预训练扩散模型的固定大小约束，从而能够适应任何大小的分辨率。
ILVR: Conditioning Method for Denoising Diffusion Probabilistic Models (Paper reading)
qq_43800752的博客
12-15 3143
有条件的扩散模型是目前较为火热的一个研究方向，给无条件扩散模型加上条件限制的方法有很多，也各有优缺点，目前我已知比较有代表性的有，从数学模型建立如，或者在去噪器上将限制条件编码，如SR3，SRDiff等。本文是一种新型的条件扩散模型，可在无条件的预训练扩散模型上使用，生成效果也是非常棒！本文提出了一个learning-free的条件生成方法，基于预训练DDPM，通过给定参考图像在逆扩散的迭代过程中不断细化，从而进行有条件的样本生成。可以通过控制下采样因子和步幅来控制生成。
SR竞赛准备
qq_33824968的博客
11-02 253
2019/10/30 :调研文献： 2019/10/31：跑第一个代码DBPN 做完dataset部分，但是是对文件的直接加载，所以训练速度比较慢，可以使用lmdb格式进行改写 多线程对数据集视频整理成图片 ans:对SR问题怎么进行数据增强 跑代码的过程中发现：不像原版DenseNets，我们避免使用dropout和batch norm ...
[论文阅读] SegDiff: Image Segmentation with Diffusion Probabilistic Models
xiongxyowo的博客
09-20 8423
扩散概率方法被用于最先进的图像生成。在这项工作中，我们提出了一种扩展此类模型的方法，用于执行图像分割。该方法进行端到端的学习，而不依赖于预先训练的骨干。输入图像中的信息和当前估计的分割图中的信息是通过两个编码器的输出相加而合并的。然后，额外的编码层和解码器被用来迭代完善分割图，使用一个扩散模型。由于扩散模型是概率性的，它被多次应用，其结果被合并成最终的分割图。新方法在Cityscapes验证集、Vaihingen建筑分割基准和MoNuSeg数据集上产生了最先进的结果。
（Deep Learning Algorithms for Single Image Super-Resolution:A Systematic Review）论文笔记（综述）
qq_40107571的博客
06-25 779
摘要：图像超分辨以及变成非常重要的技术，特别是在医疗和工业领域。基于卷积神经网络的SRCNN算法是超分领域的开山之作，至今仍然有通过不同技术进行改进。包括使用不同的损失函数，上采样模块的部署，采用的网络设计策略。这篇文章一共选取了18篇论文中的19个算法。从以下方面进行综述和对比，数据集的选取，损失函数的使用，评价指标的选取，上采样模块的部署，网络的设计策略。对于每个上采样模块和设计策略的优点和缺点都有总结。引言基于插值的方法简单，但是图像的高频信息没有恢复。基于重建的方法包括 边缘细节的锐化，正则化、反
【超分辨率实验】Matlab-使用深度学习的单图像超分辨率(Single Image Super-Resolution Using Deep Learning)
qq_41807261的博客
03-01 6741
此示例演示如何训练非常深的超分辨率 （VDSR） 神经网络，然后使用 VDSR 网络从单个低分辨率图像估计高分辨率图像。 该示例演示如何训练 VDSR 网络，并提供预先训练的 VDSR 网络。如果您选择训练 VDSR 网络，强烈建议使用支持 CUDA 的 NVIDIA ™ GPU 具有 3.0 或更高版本。使用 GPU 需要并行计算工具™。 介绍 超分辨率是使用低分辨率图像创建高分辨率图像的过程。本示例考虑单个图像超高分辨率 （SISR），其目标是从一个低分辨率图像中恢复一个高分辨率图像。SISR 具有挑战
palette: image-to-image diffusion models
06-28
### 回答1： Q: 什么是“调色板：图像到图像扩散模型”？ A: 调色板：图像到图像扩散模型是一种图像处理技术，它利用调色板（一组预定义的颜色）将一张图像转换成另一张图像。这种技术通常使用扩散模型，即在图像中扩散颜色以达到所需效果。这种方法可以应用于许多应用场景，例如图像增强和风格迁移。 ### 回答2： Palette是一个图像到图像扩散模型，它是一种生成模型，以像素为单位从输入图像中生成输出图像。使用深度学习技术，Palette能够自动生成与原始图像相似但不相同的图像，从而为艺术创意和设计领域提供了新的可能性。Palette基于卷积神经网络，其特点是细粒度的像素级平滑，使得生成的图像具有更高的真实感。 Palette的工作原理为，通过输入图像所包含的像素信息，生成一个低分辨率的初始图像，然后通过逐层的向上采样过程，不断提高分辨率并增加图像的细节信息。在这个过程中，Palette会对图像的颜色和纹理进行抽象和重新组合，从而产生出各种不同的图像效果。根据不同的训练数据和训练方式，Palette可以生成不同的风格和效果，比如艺术风格、手绘效果等。 Palette可以应用于许多领域，比如品牌设计、个人艺术创作、影视特效等。在品牌设计方面，Palette可以帮助品牌创造出独特的视觉效果，从而提高品牌认知度和影响力。在个人艺术创作方面，Palette为艺术家提供了全新的创作思路，他们可以使用Palette生成各种不同风格的图像，从而拓宽他们的创作领域。在影视特效方面，Palette可以帮助电影制作团队生成各种特殊效果的图像，从而使电影更为逼真和震撼。 总之，Palette是一个生成模型，其特点是在像素级别上对图像进行平滑和重组，从而生成各种不同风格和效果的图像。Palette的应用领域非常广泛，如品牌设计、艺术创作和影视特效等。未来，Palette将继续发展，为我们带来更多的惊喜和创新。 ### 回答3： palette: image-to-image diffusion models是一种基于图像扩散模型的颜色调色板生成方法。这种方法旨在从给定的目标图像中提取一组相似的颜色，以便在新的图像中使用。这些颜色可以是某个图像的主要色调，也可以是某个颜色调色板中的色彩。 palette: image-to-image diffusion models方法的基本思路是通过使用图像扩散模型，使得每个像素都可以“扩散”到其周围的像素上。这种扩散能够按照某种规则，将相邻的像素颜色进行平滑化处理，从而能够生成更加自然的颜色渐变效果。使用这种方法可以很快地生成一个适合于目标图像的颜色调色板。 palette: image-to-image diffusion models方法的优点在于可以自动地从目标图像中提取相似颜色，并根据这些颜色生成一个合适的颜色调色板。这种方法可以避免手动选择颜色，从而节省时间和精力。此外，使用图像扩散模型的方法可以使所生成的颜色调色板更加平滑，同时可以保持颜色之间的相关性，从而更加适合于图像处理任务。 需要注意的是，palette: image-to-image diffusion models方法是一种机器学习方法，需要使用具有相关背景知识的开发人员进行开发和调试。因此，在使用这种方法之前，需要对机器学习和图像处理等方面有一定的了解和掌握。同时，在实际应用中，也需要根据特定的需求对方法进行具体的调整和优化，以便获得最佳的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值