【扩散模型】扩散模型讲解以及基础代码运用 附知识链接

已于 2023-10-05 23:31:43 修改
阅读量354 收藏 1
点赞数
分类专栏： 研一学习 文章标签： 深度学习 概率论 扩散模型
于 2023-09-07 09:21:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aaatomaaa/article/details/132714492
版权

李宏毅教学视频：
Link1

B站DDPM公式推导以及代码实现：
Link2

这个视频里面有论文里面的公式推导，并且1小时10分开始讲解实例代码。
后面一段时间看了一些其他博客，更加明白了。
就是通过将概率变为均匀分布的形式。正向添加噪声通过重采样技巧可以直接从t和噪声得到。反向推的时候借助一个多条件分布，然后通过各种变换，求得这个概率分布的均值和方差，然后根据公式Sample。
https://segmentfault.com/a/1190000043744225 扩散模型(Diffusion Model)详解：直观理解、数学原理、PyTorch （代码实现）
https://blog.csdn.net/qq_40714949/article/details/126643111 简单基础入门理解Denoising Diffusion Probabilistic Model，DDPM扩散模型
https://blog.csdn.net/zhL816/article/details/127990163 DDPM（Denoising Diffusion Probabilistic Models）扩散模型简述
https://blog.csdn.net/Little_White_9/article/details/124435560 VLB公式推导
思维图：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

文章目录

扩散模型概念：

就像石头里面已经有了雕塑，只需要看我们怎么把其他多余的部分去掉。
在这里插入图片描述
注意观察，我们每一个Denoise阶段都不一样，因为每一个阶段传入的图片以及需要处理的noise都不一样，并且直接产生图片比直接产生噪音更难，所以我们通过预测noise来解决问题。
在这里插入图片描述

比如下图所示：step2是我们加的噪声，那么传入input和2的时候就希望预测出gt了，然后进行相减得到step1的图片。
在这里插入图片描述

Diffusion Model工作原理：

VAE和Diffusion的区别
在这里插入图片描述
先看整个训练过程:
在这里插入图片描述

实际结果和我们想的是不一样的。训练时通过X0和噪声得到一个图，逆向的时候输入t和生成的图来得到噪音。想象的是一点一点加入噪音，实际上是直接加进去的。在这里插入图片描述
推断时刻：theat是带有参数的网络。
在这里插入图片描述

影像生成模型本质上的共同目标

通过采样一个高深distribution生成一个图片。希望生成的图片和真实的图片的distribution很接近。
在这里插入图片描述
那么怎么衡量这两个分布的接近程度呢？多数采用的都是Maximum liklihood Estimation.
我们希望我们采样的数据能够通过theta网络计算出来的概率越大越好。 在这里插入图片描述
通过数学变换，将概率最大变为Pdata和Ptheat这两个distribution的KL散度最小。
在这里插入图片描述
VAE的下界
Ptheat(x)表示：通过theta产生x的概率。
在这里插入图片描述

在这里插入图片描述
DDPM计算Ptheta(x)的方法 下图表示产生X0的概率。
在这里插入图片描述
两者对比
在这里插入图片描述
接下来需要计算q(x1|x0)此类公式。
计算方法：X1到X2的计算方法在论文中有提及。
在这里插入图片描述
两个高斯分布都是服从N(0,1),相加的话还是一个高斯分布，并且还是服从N（0，1）,只是前面系数会发生变化。系数的话是根号下面数字相加。所以相加之后均值还是为0，方差a方加b方即可，这个在另外一个视频里面有讲解。
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
经过一番推导之后得到：
在这里插入图片描述
之后计算最下面三项：
在这里插入图片描述
通过以下推导：
在这里插入图片描述
之后通过X0,Xt可以得到Xt-1的分布。
在这里插入图片描述
可以看到前面一项的mean 和 variance是固定的，第二项的variance也是固定的，因此我们需要把第二项的mean变得和第一项的接近。
在这里插入图片描述
那么怎么minimiaze这个mean呢？希望用Xt去预测出来那个mean。
在这里插入图片描述
经过推导：
在这里插入图片描述
最终得到下图：
在这里插入图片描述
里面beta可以学习，但是效果不好，所以使用线性固定。最后加上一个噪声猜测是为了增强鲁棒性，并且本身就是从噪声开始，不加噪声的话可能不会生成图片。

B站简单示例代码讲解

# 加载数据集
%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets import make_s_curve
import torch

s_curve,_ = make_s_curve(10**4,noise=0.1)
print(np.shape(s_curve))
s_curve = s_curve[:,[0,2]]/10.0

print("shape of s:",np.shape(s_curve))

data = s_curve.T

fig,ax = plt.subplots()
ax.scatter(*data,color='blue',edgecolor='white');

ax.axis('off')
 
dataset = torch.Tensor(s_curve).float()

在这里插入图片描述

# 2确定超参数的值
num_steps = 100
#制定每一步的beta
betas = torch.linspace(-6,6,num_steps)
betas = torch.sigmoid(betas)*(0.5e-2 - 1e-5)+1e-5
​
#计算alpha、alpha_prod、alpha_prod_previous、alpha_bar_sqrt等变量的值
alphas = 1-betas
alphas_prod = torch.cumprod(alphas,0)
# print(alphas_prod)
alphas_prod_p = torch.cat([torch.tensor([1]).float(),alphas_prod[:-1]],0)
# print(alphas_prod_p)
alphas_bar_sqrt = torch.sqrt(alphas_prod)
one_minus_alphas_bar_log = torch.log(1 - alphas_prod)
one_minus_alphas_bar_sqrt = torch.sqrt(1 - alphas_prod)
​
assert alphas.shape==alphas_prod.shape==alphas_prod_p.shape==\
alphas_bar_sqrt.shape==one_minus_alphas_bar_log.shape\
==one_minus_alphas_bar_sqrt.shape
print("all the same shape",betas.shape)

、确定扩散过程任意时刻的采样值

#3 计算任意时刻的x采样值，基于x_0和重参数化
def q_x(x_0,t):
    """可以基于x[0]得到任意时刻t的x[t]"""
    noise = torch.randn_like(x_0)
    alphas_t = alphas_bar_sqrt[t]
    alphas_1_m_t = one_minus_alphas_bar_sqrt[t]
    return (alphas_t * x_0 + alphas_1_m_t * noise)#在x[0]的基础上添加噪声
j
# 4 演示原始数据分布加噪100步后的结果

num_shows = 20
fig,axs = plt.subplots(2,10,figsize=(28,3))
plt.rc('text',color='black')
​
#共有10000个点，每个点包含两个坐标
#生成100步以内每隔5步加噪声后的图像
for i in range(num_shows):
    j = i//10
    k = i%10
    q_i = q_x(dataset,torch.tensor([i*num_steps//num_shows]))#生成t时刻的采样数据
    axs[j,k].scatter(q_i[:,0],q_i[:,1],color='red',edgecolor='white')
    axs[j,k].set_axis_off()
    axs[j,k].set_title('$q(\mathbf{x}_{'+str(i*num_steps//num_shows)+'})$')

在这里插入图片描述

# 5 编写拟合逆扩散过程高斯分布的模型

import torch
import torch.nn as nn
​
class MLPDiffusion(nn.Module):
    def __init__(self,n_steps,num_units=128):
        super(MLPDiffusion,self).__init__()
        
        self.linears = nn.ModuleList(
            [
                nn.Linear(2,num_units),
                nn.ReLU(),
                nn.Linear(num_units,num_units),
                nn.ReLU(),
                nn.Linear(num_units,num_units),
                nn.ReLU(),
                nn.Linear(num_units,2),
            ]
        )
        self.step_embeddings = nn.ModuleList(
            [
                nn.Embedding(n_steps,num_units),
                nn.Embedding(n_steps,num_units),
                nn.Embedding(n_steps,num_units),
            ]
        )
    def forward(self,x,t):
#         x = x_0
        for idx,embedding_layer in enumerate(self.step_embeddings):
            t_embedding = embedding_layer(t)
            x = self.linears[2*idx](x)
            x += t_embedding
            x = self.linears[2*idx+1](x)
            
        x = self.linears[-1](x)
        
        return x

loss_fn 就是Lsimple得表达式。通过传入参数，生成一个随机噪声，并且送入model里面，那么上面也讲了，model的作用是根据X0,和t预测出我们应该减去的噪声，所以损失函数就是用生成的噪声减去预测的噪声。
在这里插入图片描述

# 6 编写训练的误差函数
def diffusion_loss_fn(model,x_0,alphas_bar_sqrt,one_minus_alphas_bar_sqrt,n_steps):
    """对任意时刻t进行采样计算loss"""
    batch_size = x_0.shape[0]
    
    #对一个batchsize样本生成随机的时刻t
    t = torch.randint(0,n_steps,size=(batch_size//2,))
    t = torch.cat([t,n_steps-1-t],dim=0)
    t = t.unsqueeze(-1)
    
    #x0的系数
    a = alphas_bar_sqrt[t]
    
    #eps的系数
    aml = one_minus_alphas_bar_sqrt[t]
    
    #生成随机噪音eps
    e = torch.randn_like(x_0)
    
    #构造模型的输入
    x = x_0*a+e*aml
    
    #送入模型，得到t时刻的随机噪声预测值
    output = model(x,t.squeeze(-1))
    
    #与真实噪声一起计算误差，求平均值
    return torch.pow((e - output),2).mean()
# 7、编写逆扩散采样函数（inference）

def p_sample_loop(model,shape,n_steps,betas,one_minus_alphas_bar_sqrt):
    """从x[T]恢复x[T-1]、x[T-2]|...x[0]"""
    cur_x = torch.randn(shape)
    x_seq = [cur_x]
    for i in reversed(range(n_steps)):
        cur_x = p_sample(model,cur_x,i,betas,one_minus_alphas_bar_sqrt)
        x_seq.append(cur_x)
    return x_seq
​
def p_sample(model,x,t,betas,one_minus_alphas_bar_sqrt):
    """从x[T]采样t时刻的重构值"""
    t = torch.tensor([t])
    
    coeff = betas[t] / one_minus_alphas_bar_sqrt[t]
    
    eps_theta = model(x,t)
    
    mean = (1/(1-betas[t]).sqrt())*(x-(coeff*eps_theta))
    
    z = torch.randn_like(x)
    sigma_t = betas[t].sqrt()
    
    sample = mean + sigma_t * z
    
    return (sample)
# 8、开始训练模型，打印loss及中间重构效果

seed = 1234
​
class EMA():
    """构建一个参数平滑器"""
    def __init__(self,mu=0.01):
        self.mu = mu
        self.shadow = {}
        
    def register(self,name,val):
        self.shadow[name] = val.clone()
        
    def __call__(self,name,x):
        assert name in self.shadow
        new_average = self.mu * x + (1.0-self.mu)*self.shadow[name]
        self.shadow[name] = new_average.clone()
        return new_average
    
print('Training model...')
batch_size = 128
dataloader = torch.utils.data.DataLoader(dataset,batch_size=batch_size,shuffle=True)
num_epoch = 4000
plt.rc('text',color='blue')
​
model = MLPDiffusion(num_steps)#输出维度是2，输入是x和step
optimizer = torch.optim.Adam(model.parameters(),lr=1e-3)
​
for t in range(num_epoch):
    for idx,batch_x in enumerate(dataloader):
        loss = diffusion_loss_fn(model,batch_x,alphas_bar_sqrt,one_minus_alphas_bar_sqrt,num_steps)
        optimizer.zero_grad()
        loss.backward()
        torch.nn.utils.clip_grad_norm_(model.parameters(),1.)
        optimizer.step()
        
    if(t%100==0):
        print(loss)
        x_seq = p_sample_loop(model,dataset.shape,num_steps,betas,one_minus_alphas_bar_sqrt)
        
        fig,axs = plt.subplots(1,10,figsize=(28,3))
        for i in range(1,11):
            cur_x = x_seq[i*10].detach()
            axs[i-1].scatter(cur_x[:,0],cur_x[:,1],color='red',edgecolor='white');
            axs[i-1].set_axis_off();
            axs[i-1].set_title('$q(\mathbf{x}_{'+str(i*10)+'})$')

最后的演示

动画演示扩散过程和逆扩散过程

import io
from PIL import Image
​
imgs = []
for i in range(100):
    plt.clf()
    q_i = q_x(dataset,torch.tensor([i]))
    plt.scatter(q_i[:,0],q_i[:,1],color='red',edgecolor='white',s=5);
    plt.axis('off');
    
    img_buf = io.BytesIO()
    plt.savefig(img_buf,format='png')
    img = Image.open(img_buf)
    imgs.append(img)
mg = Image.open(img_buf)
    reverse.append(img)
reverse = []
for i in range(100):
    plt.clf()
    cur_x = x_seq[i].detach()
    plt.scatter(cur_x[:,0],cur_x[:,1],color='red',edgecolor='white',s=5);
    plt.axis('off')
    
    img_buf = io.BytesIO()
    plt.savefig(img_buf,format='png')
    img = Image.open(img_buf)
    reverse.append(img)
​
imgs = imgs +reverse
imgs[0].save("diffusion.gif",format='GIF',append_images=imgs,save_all=True,duration=100,loop=0)
求求你来BUG行不行
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Diffusion Models扩散模型与深度学习(数学原理和代码解读)
沉迷单车的追风少年
07-14 3万+
​ 此前GANs霸占各大顶会很多年，DDPM的出现让人耳目一新！经过这两年的发展，Diffusion Models能在图像生成、超分辨率重建、点云生成、语音生成等领域达到SOTA。这篇文章旨在帮助没有了解过的读者入门，《Diffusion Models与深度学习专栏》已经写了将近三十篇文章，既有原理公式和必备基础知识的讲解，也有代码详细实战解读，还有前沿热门应用，欢迎读者订阅。
扩散模型+CV与NLP科研笔记
09-19
25. 终结扩散模型：这部分讲解了 Consistency Models 的原理和实现，包括 OpenAI 开源新模型代码。 26. 论文精读CVPR_2022(Oral)：这部分详细讲解了 Smooth-Swap 模型的原理和实现，包括论文精读和代码实战。 27. ...
【扩散模型】1、扩散模型 | 到底什么是扩散模型?
呆呆的猫的博客
03-11 1万+
本文简单介绍扩散模型
从0开始搞懂Diffusion扩散模型
fisherisfish的博客
08-14 3893
简单来说就是套贝叶斯公式，B是X(t-1)，P(B)就是q(X(t-1)|X0)，A是Xt，P(A|B)就是q(Xt|X(t-1)，X0)，下面其实就是P(A)，那就说q(Xt|X0)，鄙人是这么理解的，但是鄙人概率论实在学得不好，这里很难理解，如果有错误欢迎指出，后续也会抓紧学习得。首先是为什么q(X(t-1)|Xt)变成了q(X(t-1)|Xt，X0)，这是因为光靠Xt是反推不了这个公式的，所以得把知道X0也当作条件，引入这个公式，来和Xt一起反推X(t-1)。这里参考大佬的计算过程。
【扩散模型】 DDPM和DDIM讲解
aaatomaaa的博客
10-05 3239
DDIM和扩散模型讲解以及公式推导
图像生成发展起源：从VAE、VQ-VAE、扩散模型DDPM、DETR到ViT、Swin transformer
热门推荐
结构之法 算法之道
04-30 2万+
2018年我写过一篇博客，叫：《》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection with Transformers)之后，自此CV迎来了生成式下的多模态时代但看这些模型接二连三的横空出世，都不用说最后爆火的GPT4，便可知不少CV同学被卷的不行。
潜在扩散模型Latent Diffusion Model原理与代码实例讲解
最新发布
禅与计算机程序设计艺术
06-15 368
潜在扩散模型Latent Diffusion Model原理与代码实例讲解 1.背景介绍 潜在扩散模型（Latent Diffusion Model, LDM）是近年来在生成模型领域中崭露头角的一种新型方法。它结合了扩散过程和潜在变量模型的优点，能够
扩散模型代码使用
lihao1875699404的博客
11-09 243
使用Pytorch Lightning可以免去手动添加.cuda()的这些操作，也可以较方便地在多卡GPU及TPU上进行训练，同时因为LightningModule中training_step等方法的区分，也免去了with torch.no_grad() model.eval() model.train()等的操作。用法与自动batch size查找类似，设置auto_lr_find=True，并使用trainer.tune(model)来查找最合适的初始学习率。
去噪扩散概率模型（Denoising Diffusion Probabilistic Model，DDPM）
SongGu1996的博客
10-24 9614
去噪扩散概率模型（Denoising Diffusion Probabilistic Model, DDPM）在2020年被提出，向世界展示了扩散模型的强大能力，带动了扩散模型的火热。笔者出于兴趣自学相关知识，结合网络上的参考资料和自己的理解介绍DDPM。
Diffusion：通过扩散和逆扩散过程生成图像的生成式模型
m0_51976564的博客
11-29 2858
Diffusion：通过扩散和逆扩散过程生成图像的生成式模型
溢油模型相关资料.zip
12-01
这是关于Mike21溢油模块讲解，图解具体步骤，这对于建模新手是非常有用的，如果你是新手的话这个将会成为你Mike21已有模块使用途中的好帮手。
停留时间分布与反应器流动模型.pdf
11-13
它可以用数学函数来描述，例如离析流模型、多釜串联模型和扩散模型。这些模型可以描述实际反应器中的流动情况，並且可以用来设计和分析实际反应器。 五、反应器设计与分析 停留时间分布可以用于反应器的设计和分析...
dnv-phast-软件讲解完整版资料.ppt
11-14
DNV PHAST 软件讲解 DNV PHAST 软件是由 DNV 公司开发的一款工艺危险源分析软件工具（Process Hazard Analysis Software Tool），主要用于通过数学模型模拟和预测由油气所产生的安全事故的危险后果和影响。该软件的...
深度学习Day-20：DenseNet算法实战 乳腺癌识别
m0_51359915的博客
06-12 532
中的学习记录博客。
【深度学习】【NLP】Bert理论，代码
q742971636的博客
06-11 1118
BERT (Bidirectional Encoder Representations from Transformers) 是一个由Google开发的自然语言处理预训练模型。BERT在多个NLP任务中取得了显著的效果，主要因为它能够利用句子中所有单词的上下文信息进行训练和预测。下面从公式和代码两个角度进行讲解。BERT 的输入由三个嵌入层组成：输入向量表示为： Input=Token Embedding+Segment Embedding+Position Embedding \text{Input} =
基于深度学习的电池健康状态预测（Python）
weixin_39402231的博客
06-12 411
电池的故障预测和健康管理PHM是为了保障设备或系统的稳定运行，提供参考的电池健康管理信息，从而提醒决策者及时更换电源设备。不难发现，PHM的核心问题就是确定电池的健康状态，并预测电池剩余使用寿命。但是锂电池的退化过程影响因素众多，不仅受其本身工作模式的影响，外部环境的压力、温度等都会影响锂电池的退化。这些影响因素之间的相互耦合，导致锂电池的退化表现出很强的非线性及不确定性，这给SOH估计和RUL预测带来了很大的困难。
基于深度学习的深度图预测
weixin_42605076的博客
06-12 844
基于深度学习的深度图预测通过构建和训练复杂的神经网络模型，有效地从二维图像中提取深度信息。尽管面临信息不足、复杂场景、尺度不确定性等挑战，但随着深度学习技术的不断进步，深度图预测在多个领域展现出了广阔的应用前景。通过数据增强和预处理技术，可以进一步提升深度图预测模型的鲁棒性和准确性。
扩散模型python代码
04-21
扩散模型是一种用于模拟物质或信息在空间中传播和扩散的模型。在Python中，可以使用numpy和matplotlib库来实现扩散模型的代码。 以下是一个简单的一维扩散模型的Python代码示例： ```python import numpy as np import matplotlib.pyplot as plt # 模拟参数 num_points = 100 # 空间点数 num_steps = 1000 # 时间步数 diffusion_coefficient = 0.1 # 扩散系数 dt = 0.01 # 时间步长 dx = 1.0 # 空间步长 # 初始化空间和时间网格 x = np.arange(num_points) * dx concentration = np.zeros(num_points) concentration[num_points // 2] = 1.0 # 在中间位置设置初始浓度为1 # 进行模拟 for step in range(num_steps): # 计算浓度变化率 d_concentration = diffusion_coefficient * np.diff(concentration, 2) / dx**2 # 更新浓度 concentration[1:-1] += d_concentration * dt # 边界条件：固定浓度边界 concentration = concentration concentration[-1] = concentration[-2] # 绘制结果 plt.plot(x, concentration) plt.xlabel('Position') plt.ylabel('Concentration') plt.title('Diffusion Model') plt.show() ``` 这段代码使用了一维离散化的扩散方程来模拟物质在空间中的扩散过程。通过迭代计算浓度的变化率，并更新浓度值，最后绘制出浓度随位置的变化曲线。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值