DDPM代码详细解读(3)：图解模型各部分结构、用ConvNextBlock代替Resnet

最新推荐文章于 2024-09-09 10:51:47 发布
最新推荐文章于 2024-09-09 10:51:47 发布
阅读量4k 收藏 12
点赞数 4
分类专栏： Diffusion Models与深度学习 文章标签： DDPM 深度学习 tensorflow python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/123790841
版权
本文详细解读了DDPM模型中使用ConvNextBlock代替Resnet的效果，通过结构图解与代码分析，展示两者在Unet结构中的应用。实验表明，ConvNextBlock在准确性与效率上表现出优势。
摘要由CSDN通过智能技术生成

Diffusion Models专栏文章汇总：入门与实战

前言：前两篇文章讲了pytorch版本的代码，并一一介绍重要方法的原理。官方给的代码是tensorflow TPU版本，没有跑通。但是有很多人用pytorch复现了tensorflow TPU版本的代码，暂时没看见tensorflow GPU版本的代码。这篇文章解读一下对应的pytorch版本的代码，重点分析一下用最新的ConvNextBlock代替ResBlock效果。

目录

整体Unet结构

基于ResBlock的Unet版本

基于ConvNextBlock的Unet版本

原先Resnet结构

ConvNextBlock改进

T-embedding结构

swish()版本代码：

GELU()版本代码：

论文和代码

整体Unet结构

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
专栏目录
订阅专栏
DDPM代码详细解读(2)：Unet结构、正向和逆向过程、IS和FID测试、EMA优化
沉迷单车的追风少年
04-29 9268
Diffusion Models专栏文章汇总：入门与实战 前言：大部分DDPM相关的论文代码都是基于《Denoising Diffusion Probabilistic Models》和《Diffusion Models Beat GANs on Image Synthesis》贡献代码基础上小改动的。官方的DDPM是tensorflow TPU版本，暂时没有GPU的版本。上一篇文章介绍了数据集加载，超参数的含义、关键参数的计算方法等，这一篇重点解读一下网络结构。 目录 EMA优化 训练目标.
DDPM扩散模型（模型结构图与公式推导）
SoyMilk的博客
07-21 790
去噪过程是加噪过程的逆过程，是从高斯噪声中恢复原始数据的过程，我们可以假设去噪的噪声也是取自一个高斯分布，我们无法逐步地去直接拟合分布，因此需要构建一个参数分布来去做估计，逆扩散过程仍然是一个马尔科夫链过程。
一文详解扩散模型：DDPM
周红伟讲AI
03-12 3048
这些效果惊艳的模型扩散模型的理论基础便是我们这里要介绍的提出扩散模型的文章[1]和非常重要的DDPM[2]，扩散模型的实现并不复杂，但其背后的数学原理却非常丰富。因为我们在扩散过程的整个流程中都共享同一套参数，为了区分不同的时间片，作者借鉴了Transformer [15]的位置编码的思想，采用了正弦位置嵌入对时间$t$进行了编码，这使得模型在预测噪声时知道它预测的是批次中分别是哪个时间片添加的噪声。扩散模型是一个基于马尔可夫链的数学模型，它通过预测每个时间片添加的噪声来进行模型的训练。
DenseNet：比ResNet更优的CNN模型
woshisunwen的博客
11-18 1777
前  言 在计算机视觉领域，卷积神经网络（CNN）已经成为最主流的方法，比如最近的GoogLenet，VGG-19，Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”（shortcuts，skip connection），这有助于训练过程中梯...
【技术解析笔记】DDPM解析
weixin_42953627的博客
09-09 1359
DDPM指的是Denoising diffusion probalistic models，一种生成式模型，提出的时候特别强调了可以超过GAN。DDPM的想法来源于这样一个过程：对一个图像反复添加某分布的噪音，那么该图像最终就是一个随机噪音图。那么能否自动学习一个倒置过程呢？
一文读懂扩散模型，DDPM原理+代码解读
weixin_37817275的博客
04-21 1万+
扩散模型：和其他生成模型一样，实现从噪声（采样自标准正态分布）生成目标数据样本。扩散模型包括两个过程：前向过程（forward process）和反向过程（reverse process），其中前向过程又称为扩散过程（diffusion process）。无论是前向过程还是反向过程都是一个参数化的马尔可夫链（Markov chain），其中反向过程可用于生成数据样本（它的作用类似GAN中的生成器，只不过GAN生成器会有维度变化，而DDPM的反向过程没有维度变化）。
基于ResNet101的模型结构：ResNet101-ImageNet-CNTK
10-24
基于ResNet101的模型结构：ResNet101_ImageNet_CNTK
Diffusion models代码解读：入门与实战
沉迷单车的追风少年
09-24 1万+
Diffusion models代码解读：系列文章汇总导航
基于ResNet50的模型结构：ResNet50-ImageNet-CNTK
10-24
基于ResNet50的模型结构：ResNet50_ImageNet_CNTK
基于resnet系列网络的男女性别识别分类源码(附：模型、数据集、预测展示代码)
11-28
2、代码中已训练好的模型是基于resnet18，模型是cpu训练3、使用的深度学习框架为pytorch，建议版本为1.7以上4、资源附有训练使用的男女人脸图片数据集，已划分为训练集与验证集5、训练模型较好，精度很高，不仅可以...
DDPM | 扩散模型代码详解【较为详细细致！！！】
qq_23022733的博客
08-19 1294
左图是Transformer的Positional Embedding，行索引代表第几个单词，列索引代表每个单词的特征向量，右图是DDPM的Positional Embedding，DDPM的Positional Embedding和Transformer的Positional Embedding的。另一个区别是DDPM的Positional Embedding并没有按照奇数位和偶数位进行拼接，而是按照前后的sin和cos进行拼接的，虽然拼接方式不同，但是最终的效果是一样的。这是下采样模块的解释，
文生图大模型三部曲：DDPM、LDM、SD 详细讲解！
不积跬步，无以至千里！
03-27 5068
文生图大模型Stable Diffusion的前世今生！
DDPM学习笔记
里先森
07-18 718
现如今绝大多数的扩散模型（Diffusion Model）追本溯源都离不开《Denoising Diffusion Probabilistic Models》（DDPM）这篇论文。了解 DDPM 背后的机理可以帮助我们快速上手类似结构的扩散模型。
Hierarchical Dynamic Filtering Network for RGB-D Salient Object Detection论文总结
weixin_44981932的博客
01-09 400
Hierarchical Dynamic Filtering Network for RGB-D Salient Object Detection 论文源码 作者想法： RGB-D SOD 主要目的是如何更好的整合并利用跨模态融合信息。在这篇文章中，作者从一个新的观点探索这个问题。作者通过密集的连接结构整合不同模态的特征并且使用它们混合的特征来产生具有不同大小接受野的动态过滤波器。 因此，作者提出一个更灵活有效的多尺度跨模态特征处理：动态膨胀的金字塔模块； 另外，设计了一个混合增强损失函数来使预测的结果有敏
【生成模型】DDPM概率扩散模型（原理+代码)
热门推荐
qq_45752541的博客
11-23 3万+
DDPM即 Denoising Diffusion Probabilistic Model概率扩散模型，原理 +代码解析
扩散模型Diffusion Model与DDPM
qq_34845880的博客
07-14 1万+
从概念上讲，这个diffusionmodel很简单，假设你有一个图片，记为X0，你每次对图像加一点噪声，加一次噪声记为Xt+1,不断对其加噪声，总共加T次以后，得到的图片基本可以说是一个噪声的图片了。最近DiffusionModel被用在于图片生成模型当中，当前很多的模型都在使用diffusionmodel作为生成范式，如GLIDE，DALLE2,Imagen，和一系列ImageEditing方法等等）但是2020年的DDPM之后，才开始逐渐火起来的，..................
深度学习中常见的损失函数
最新发布
hallo128的博客
09-09 338
损失函数是衡量神经网络输出与真实标签之间差距的指标。在训练过程中，神经网络的目标是最小化损失函数的值。常见的损失函数包括均方误差（MSE）损失函数、交叉熵（Cross-Entropy）损失函数等。损失函数的选择取决于任务的需求和输出数据的类型。这些损失函数各有特点，适用于不同的场景和问题。在实际应用中，需要根据具体任务和数据集的特点来选择合适的损失函数。
DDPM代码
05-28
DDPM（Diffusion Probabilistic Models）是一种用于生成模型的深度学习方法。以下是 DDPM 的 TensorFlow 2.0 实现代码示例： ```python import tensorflow as tf from tensorflow.keras import layers class GaussianDiffusion(tf.keras.Model): def __init__(self, num_filters, num_diffusion_timesteps): super(GaussianDiffusion, self).__init__() self.num_filters = num_filters self.num_diffusion_timesteps = num_diffusion_timesteps self.diffusion_step = 1 / (num_diffusion_timesteps - 1) self.net = tf.keras.Sequential([ layers.Conv2D(num_filters, 3, padding='same', activation='relu'), layers.Conv2D(num_filters, 3, padding='same', activation='relu'), layers.Conv2D(num_filters, 3, padding='same', activation='relu'), layers.Conv2D(num_filters, 3, padding='same', activation='relu'), layers.Conv2D(num_filters, 3, padding='same', activation='relu'), layers.Conv2D(num_filters, 3, padding='same', activation=None), ]) def call(self, x, t, noise=None): x = tf.cast(x, tf.float32) t = tf.cast(t, tf.float32) x_shape = tf.shape(x) batch_size = x_shape[0] height = x_shape[1] width = x_shape[2] if noise is None: noise = tf.random.normal([batch_size, height, width, 3]) for i in range(self.num_diffusion_timesteps): scale = tf.math.sqrt(1 - self.diffusion_step * i) x_noisy = x + scale * noise net_in = tf.concat([x_noisy, t[:, tf.newaxis, tf.newaxis, tf.newaxis] * tf.ones_like(x_noisy)], axis=-1) noise = noise + self.net(net_in) * tf.math.sqrt(self.diffusion_step) return x_noisy ``` 这段代码实现了一个名为 GaussianDiffusion 的 TensorFlow 2.0 模型，并且提供了一个 `call` 方法，可以用于生成模型。其中，`num_filters` 表示卷积层中的滤波器数量，`num_diffusion_timesteps` 表示扩散时间步数。模型输入 `x` 表示图像，`t` 表示时间步，`noise` 表示噪声。最终，该模型会返回一个经过扩散的图像。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值