论文导读：[NeurIPS2020]Denoising Diffusion Probabilistic Models

已于 2023-08-10 16:25:17 修改
阅读量107 收藏 1
点赞数 1
文章标签： stable diffusion 深度学习
于 2023-08-10 16:11:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46125392/article/details/132212249
版权

 

预备知识：Markov Chain

核心思想：描述状态转移的函数，当前步骤的Transmittion Matrix只依赖于上一步的状态

Algorithm

参考：https://www.bilibili.com/video/BV14c411J7f2/?spm_id_from=333.337.search-card.all.click&vd_source=14728bbd15d8b77a712e34c0e81c1d86

Training过程：训练模型，得到估计的噪音\epsilon_\theta

  1. 在数据集中采样（一个batch是4张图），得到X0，其服从分布q(X0)

  2. t在1到T内随机取数（轮数不固定）

  3. 找严格服从正态分布的噪声ε

  4. 梯度下降更新参数θ，输入的是\sqrt{\bar{\alpha_t}}x_0+\sqrt{1-\bar{\alpha_t}}\epsilon = x_t（即为一张Noisy图片）和轮次t（即为位置编码，需要用sin&cos进行time embedding，能否用其他embedding方法？）

即为真实值与预测值之间的差，作为loss function

这当中\epsilon_\theta是一个模型，是训练所得到的结果，输出结果时，每个位置都要生成一个噪音点

UNet：训练过程中所用的网络

常规UNet结构见：UNet OnePage(WIP)

  • UNet网络结构较简单，或许是一个可以优化的点，可否设计更精妙的Network？

Sampling过程：逆向过程，由XT得到X0

  

  1. XT是最终生成的噪音，其符合标准正态分布

  2. 从T往前回溯到1

  3. 最后一步（t=1）的时候，不添加噪音点，z=0

  4. 第t-1步的图像X_{t-1}只与XX_T和噪音有关

训练过程：

随机选择一个训练样本->从1-T随机抽样一个t->随机产生噪声-破坏后的原图->输入网络预测噪声->计算产生的噪声和预测的噪声的L2损失->计算梯度并更新网络

TianwenZhou
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Improved Denoising Diffusion Probabilistic Models.pdf
05-18
Improved Denoising Diffusion Probabilistic Models Improved Denoising Diffusion Probabilistic Models（DDPM）是一类生成模型，它最近被证明可以生成高质量的样本。 DDPMs 通过学习反向扩散过程的方差，可以以...
Denoising Diffusion Probabilistic Models.pdf
05-18
"Denoising Diffusion Probabilistic Models" 本文将讨论 Denoising Diffusion Probabilistic Models（去噪扩散概率模型），一种基于热力学考虑的潜变量模型。该模型可以生成高质量的图像合成结果。 概率模型 ...
论文阅读：Denoising Diffusion Probabilistic Models
Matrix-11
06-11 1537
在 AE 之后，出现了 DAE，也就是 Denoising Autoencoder，DAE 与 AE 的流程也非常类似，唯一的区别在于编码器的输入，AE 的编码器的输入是原始的高维向量，而 DAE 的编码器的输入是对原始高维向量加入噪声扰动之后的高维向量，DAE 就是希望把加了噪声的高维向量恢复成原始的高维向量，这个过程有点像是对高维向量去噪，所以就叫 Denoising Autoencoder。是从原始图像分布中抽取的一个初始样本，然后每次叠加少量的噪声，生成一系列的带噪图像，扩散与采样过程的程序。
14篇论文拿捏Diffusion
简单记录生活、学习
12-05 1541
读了14篇论文，终于会拿捏Diffusion了
论文阅读 | RePaint: Inpainting using Denoising Diffusion Probabilistic Models
Pencilhj的博客
12-10 1982
RePaint：使用训练好的扩散模型，在去噪过程中加入mask和resample策略，适配inpainting任务。
RePaint: Inpainting using Denoising Diffusion Probabilistic Models 论文解读和感想
qq_37614597的博客
06-26 2344
在22年CVPR中，DDPM生成范式终于是对image inpainting任务下手了，本文作为第一个使用DDPM方法进行image inpainting的文章，其题目也是平平无穷（褒义）。首先本文对image inpainting任务又挖了一个新坑：作者提出，以往的image inpainting方法可以表示为xc=G(x⊙(1−m),m)x_c = G(x \odot (1-m),m)xc​=G(x⊙(1−m),m)，可以看到在inpainting的时候，生成模型G()G()G()是以掩码矩阵mmm
论文阅读 (65)：RePaint: Inpainting using Denoising Diffusion Probabilistic Models
因吉的博客
08-05 3423
自由形式修复 (Free-form inpainting) 是在任意二进制蒙版指定的区域中，向图像添加新内容的任务。大多数现有方法：1）针对特定的蒙版分布进行训练，这限制了它们在未知蒙版上的泛化能力；2）像素级和感知损失的训练通常导致缺失区域的简单纹理扩张，以致不能引导语义上有意义的生成。......
【论文阅读】RePaint: Inpainting using Denoising Diffusion Probabilistic Models（CVPR 2022）
热门推荐
XavierJ的博客
08-28 1万+
问题描述：自由形式的图像修复是在由任意二进制掩码指定的区域中向图像添加新内容的任务。大多数现有的方法针对特定的掩码分布进行训练，这将它们的泛化能力限制到看不见的掩码类型。此外，基于 pixel-wise 和 perceptual 损失的训练通常会导致对缺失区域的简单纹理扩展，而不是语义上有意义的生成。.....................
RePaint: Inpainting using Denoising Diffusion Probabilistic Models 简介及相关工作
weixin_45693324的博客
11-23 1290
由于图像嵌入需要高级语义上下文，并且要显式地将其包含在生成管道中，因此存在一些手工的体系结构设计，如扩大卷积[16,44]来增加接受域，部分卷积[19]和门通卷积[47]根据嵌入掩码来引导卷积内核，上下文注意[45]利用全局信息，边缘映射[9,26,42,43]或语义分割映射[14，30]进一步指导生成，以及傅立叶卷积[39]有效地包括全局和局部信息。因此，嵌入方法需要强大的生成能力。此外，inpainting方法需要处理各种形式的蒙版，如薄或厚的笔刷，正方形，甚至是极端的蒙版，图像的绝大部分都丢失了。
【扩散模型】论文精读：Denoising Diffusion Probabilistic Models（DDPM）
畅游计算机视觉的海洋
03-26 8006
我们使用扩散概率模型展示了高质量的图像合成结果，这是一种受非平衡热力学考虑启发的潜在变量模型。我们最好的结果是通过对加权变分界进行训练获得的，该边界是根据扩散概率模型和与朗之万动力学的去噪分数匹配之间的新联系设计的，我们的模型自然承认渐进式有损解压缩方案，可以解释为自回归解码的泛化。在无条件 CIFAR10 数据集上，我们获得了 9.46 的 Inception 分数和 3.17 的最新 FID 分数。在 256x256 LSUN 上，我们获得了类似于 ProgressiveGAN 的样本质量。
【论文精读】DDPM：Denoising Diffusion Probabilistic Models 去噪扩散概率模型
weixin_47748259的博客
03-16 4562
变分自动编码器（VAE） 结合了自动编码器和变分推断的思想。它主要包括编码器和解码器两个部分。VAE能够学习数据的潜在表示，并生成具有相似分布的新样本。在训练过程中，VAE的目标是最大化数据的边际似然，同时使潜在表示与先验分布（通常是高斯分布）的KL散度最小化。 生成对抗网络（GAN）： 由生成器和判别器组成。在训练过程中，生成器和判别器相互对抗、相互提升，最终使得生成器能够生成逼真的数据，判别器则很难区分真假数据。 流模型（Flow-based Models） 是一类生成模型，旨在学习数据的概率分布以
Denoising Diffusion Implicit Models.pdf
05-18
DDIMs基于去噪扩散概率模型（Denoising Diffusion Probabilistic Models，DDPMs），但具有更高的采样效率。 首先，DDPMs是一种生成模型，它可以生成高质量的图像样本，而无需对抗训练。然而，DDPMs需要模拟马尔科夫...
AIGC与扩散模型（Denoising Diffusion Probabiblistic Model）
03-07
**Denoising Diffusion Probabilistic Models (DDPMs)**是一种人工智能领域的生成模型，特别用于创建高质量的图像、音频和其他复杂数据。DDPMs的工作原理是通过模拟一个扩散过程和逆扩散过程来学习数据的分布。 **...
Diffusion Models: 生成扩散模型数学推导
07-24
扩散模型是一种基于概率的生成模型，它源于2020年提出的Denoising Diffusion Probabilistic Models (DDPM)框架。这种模型通过一系列逐步的噪声添加过程，即“扩散过程”，来模拟数据的生成，然后通过反向的噪声去除...
Stable Diffusion基本原理通俗讲解
BuluAI的博客
07-23 1446
艺术家可以使用Stable Diffusion进行数字艺术创作，通过图生文技术获取关键词，再结合Controlnet插件进行图像的精准控制和风格化处理。
【Stable Diffusion】（基础篇五）—— 使用SD提升分辨率
最新发布
dao_cao_renshuai的博客
07-25 1258
在前期作画的时候，我有提到过，在第一次作画的时候图像分辨率不宜太高，因为过高的分辨率可能会爆显存，导致整个作画失败，但是分辨率低的图像质量不高，细节不够丰富，本文介绍如何使用AI提升图片分辨率
「AI绘画Stable Diffusion 零基础入门 」AI 绘画SD原理与工具介绍，万字详解新手入门必看！
A13531922961的博客
07-25 984
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。其实目前市面上大多数商业 AI 绘画工具，其实都是基于 SD 开发的，主要是因为在 SD 全面开源之后，在社区出现了大量丰富的模型，而且通过算法迭代，它将 AI 绘画的精细度提上了一个新的台阶，可以在民用级显卡的电脑上、并能在秒级时间内完成图片产出。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。
【2024最新版】Stable diffusion汉化版安装教程（附SD安装包），一键激活，永久免费！
ice_55的博客
07-25 699
目前广泛使用的**Stable Diffusion Web UI简称(SDWebUI)**是发布在开源平台**Github**上的一个**Python**项目,与通常的软件安装方法不同,这个项目并不是下载并安装即可使用的应用程序,而是需要准备执行环境,编译源码.
denoising diffusion probabilistic models
09-19
去噪扩散概率模型（Denoising Diffusion Probabilistic Models）是一种用于图像去噪的方法。它基于概率图模型，并通过对图像进行迭代扩散来降低噪声水平。 这种方法的关键思想是将图像看作是由真实图像和噪声构成的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值