全网最简单的扩散模型DDPM教程

于 2025-05-29 07:31:25 发布
阅读量21 收藏
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247666146&idx=4&sn=cd5c763aecec3c81e7211f4176180143&chksm=cf25ba5372ee347a407dc3a0e6ec17e0afd63ed78f7877e965335b41284db65e194af1abf427&scene=126&sessionid=0
版权

作者 | 刘伟杰 编辑 | 自动驾驶之心

 原文链接：https://zhuanlan.zhihu.com/p/566618077

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『扩散模型』技术交流群

本文只做学术分享，如有侵权，联系删文

1. 前言

DDPM可用于由随机噪声生成图片，其效果堪比甚至优于GAN、VAE等模型。近年大火的多种扩散模型都是以此为基础的。一讲到扩散模型DDPM，很多博客上来就是堆公式推导，用变分推断和隐变量模型将读者砸晕，让读者望而生畏。笔者在琢磨了一段时间后，剥离那些复杂的公式，将要点总结于此，如果有错误的地方，欢迎批评指正。

2. DDPM模型要点

对于使用者只需要理解前向过程、反向过程、如何训练和如何使用这四点即可。

2.1 前向过程（扩散）

前向过程（forward process）又称为扩散过程（diffusion process），简单理解就是对原始图片 通过逐步加高斯噪声变成 ，从而达到破坏图片的目的，如下图

DDPM的前向过程
DDPM的前向过程

用公式表示就是

其中 是预先设定好的超参数，被称为Noise schedule，通常是一些列很小的值。 是高斯噪声。由公式（1）迭代推导，可以直接得出 到 的公式（详细过程可见[2]），如下，

其中 ，这是随Noise schedule设定好的超参数， 也是一个高斯噪声。公式（1）或（2）就可以用来描述前向过程了，（1）用于将一张图片逐步破坏，（2）用于一步到位破坏。

2.2 反向过程（去噪）

反向过程就是通过估测噪声，多次迭代逐渐将被破坏的 恢复成 ，如下图

DDPM的反向过程
DDPM的反向过程

用公式表示就是

由于公式（2）中的真实噪声 在复原过程中不允许使用，因此DDPM的关键就是训练一个由 和 估测噪声的模型 ，其中 就是模型的训练参数， 也是一个高斯噪声 ，用于表示估测与实际的差距。在DDPM中，使用U-Net作为估测噪声的模型。

2.3 如何训练（获得噪声估计模型）

上文提到，DDPM的关键是训练 模型，使其预测的 与真实用于破坏的 相近，用L2距离刻画相近程度就好，因此我们的Loss就是如下公式。

训练过程如下图描述。

DDPM训练过程
DDPM训练过程

用原论文中的伪代码表示也很容易理解。

论文中的训练伪代码
论文中的训练伪代码

这里有读者会有疑问，在训练过程中 表示的是从t到t-1时刻的噪声，而却用0到t的真实噪声 进行拟合，会不会有些不妥呢？ 我的理解是0到t的真实噪声 只是指导方向，方向大概正确即可，后续用于生成时也不要求恢复出原图，只要能生成一个可看的图片即可，所以这样做是可以的。

2.4 如何使用（生成图片）

在得到噪声估测模型 后，想要生成模型就很简单了。从N(0,1)中随机生成一个噪声作为 ，然后再用该模型逐步从估测噪声，并用去噪公式逐渐恢复到 即可，见如下伪代码。

论文中生成的伪代码
论文中生成的伪代码

贴一些论文里生成的图片看一看，效果还是很惊艳的（论文实验的超参数  ， ）。

3. 总结DDPM

DDPM就是训练一个噪声估计模型 ，然后由一个随机噪声迭代生成图片。在训练模型时，先随机生成噪声 ，然后用此噪声破坏模型，再用破坏的图片预估噪声 ，期望预估的噪声与真实的噪声相近。想要深入理解DDPM，推荐看[1][2][3]三篇文献。

References

[1] Denoising Diffusion Probabilistic Models，https://arxiv.org/pdf/2006.11239.pdf

[2] 小小将, 扩散模型之DDPM，https://zhuanlan.zhihu.com/p/563661713

[3] 苏剑林，生成扩散模型漫谈（一）：DDPM = 拆楼 + 建楼，https://zhuanlan.zhihu.com/p/53

自动驾驶之心

论文辅导来啦

知识星球交流社区

近4000人的交流社区，近300+自动驾驶公司与科研结构加入！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎加入。

独家专业课程

端到端自动驾驶、大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网：www.zdjszx.com

AIGC算法工程师-面试八股文-2025年版本-算法八股文/工程八股文/开放式问题
沉迷单车的追风少年
04-14 1175
​两年前整理了《AIGC算法工程师 面试八股文》，全网一共有100w读者看过，收到了很多小伙伴的催更。Diffusion的技术发展非常快，博主特意整理了最近两年最新的八股文，内容非常全面，涵盖算法八股文/工程八股文/开放式问题三个大类，希望能为求职的读者们带来帮助。
DALL·E2（生成模型串讲，从GANs、VE/VAE/VQ-VAE/DALL·E到扩散模型DDPM/ADM）
u013250861的博客
12-11 84
引言第一段，作者又吹了一下CLIP模型，说CLIP学到的图像特征非常的稳健（对各种分布/风格的鲁棒性都很强，比如不管是漫画的香蕉、素描的香蕉还是自然界的香蕉，都能分辨出来），而且可以做zero-shot，在各种下游的视觉领域都被证明效果非常好。图像变成了像素，语音也抽样过了，大部分工作的很好的也都是分类模型（回归任务→分类任务）。这个分类器是在ImageNet上训练的，只不过图片加了很多噪声，因为扩散模型的输入始终是加了很多噪声的，跟真实的ImageNet图片是很不一样的，所以是从头训练的。
图像生成发展起源：从VAE、扩散模型DDPM、DDIM到DETR、ViT、Swin transformer
热门推荐
结构之法 算法之道
04-30 3万+
2018年我写过一篇博客，叫：《》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection with Transformers)之后，自此CV迎来了生成式下的多模态时代但看这些模型接二连三的横空出世，都不用说最后爆火的GPT4，便可知不少CV同学被卷的不行。
扩散模型 DDPM 核心代码梳理
胖胖大海的博客
09-07 1450
与Normalizing Flows、GAN或VAEs等生成模型一样，它们都将噪声从一些简单分布转换为数据样本。这也是使用神经网络学习从纯噪声开始逐渐去噪进行内容生成的过程。
李沐论文精读系列五：DALL·E2（生成模型串讲，从GANs、VE/VAE/VQ-VAE/DALL·E到扩散模型DDPM/ADM）
qq_56591814的博客
11-08 1万+
详细讲了DALL·E2的结构、算法、效果，并补充讲了以前的生成模型知识点
扩散模型训练方法一直错了！
2401_85378759的博客
10-15 958
Yann LeCun 也对他们的研究表示了认可：「我们知道，当使用自监督学习训练视觉编码器时，使用具有重构损失的解码器的效果远不如使用具有特征预测损失和崩溃预防机制的联合嵌入架构。我们知道，在生成高维视觉数据方面，基于去噪的生成模型（如扩展模型和基于流的模型）的表现非常好，已经得到了广泛应用。对于语义差距，他们比较了使用 DINOv2 特征的线性探测结果与来自 SiT 模型（训练了 700 万次迭代）的线性探测结果，采用的协议涉及到对扩散 Transformer 的全局池化的隐藏状态进行线性探测。
51c扩散模型~合集3
whaosoft~aiotの开发板商城
01-10 907
更加要命的问题是，比如Diffusion-QL本身动作采样就是5步完成的，采样已经很不精确了，且扩散策略在训练初期，没收敛的模型采样出来的动作样本还有严重的数值问题（比如采出来个1e5这种离群点），现在采样不精确性造成的误差会进一步通过训练传导到Q函数中，Bootstrapping Q loss本身又不稳定。相比于传统基于扩散的时序模型，ARMD 并没有将时间序列预测视为从噪声起步的条件生成任务，而是充分利用时间序列数据的连续演化特性，实现了扩散机制与时间序列连续性之间的对齐，从而提升了模型性能。
图像生成发展起源：从VAE、VQ-VAE、扩散模型DDPM、DETR到ViT、Swin transformer
2401_85280106的博客
11-06 1035
2018年我写过一篇博客，叫：《一文读懂目标检测：R-CNN、Fast R-CNN、Faster》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如2014 R-CNN随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection withTransformers)之后，自此CV迎来了生成式下的多模态时代(本文介绍其中有下划线的部分，其他部分下一篇介绍)1月3月4月5月6月8月9月10月11月2020| | | |
扩散模型去伪求真，Straightness Is Not Your Need？！
CV_Autobot的博客
10-16 476
作者|思悥 编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/884824542点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『BEV感知』技术交流群本文只做学术分享，如有侵权，联系删文导读这篇文章探讨了基于rectified flow和flow-matching的扩散模...
【收藏】全网最详细的AI大事记！
人机与认知实验室
07-30 325
引言：前几天写AI简史（链接）的时候，顺便整理了这份编年体的AI大事记，发给大家参考。1942年，美国科幻小说家艾萨克·阿西莫夫（Isaac Asimov）在自己的短篇小说《Runaround（环舞）》中提出了影响深远的“机器人三定律”：机器人不得伤害人类，或坐视人类受到伤害；除非违背第一定律，否则机器人必须服从人类命令；除非违背第一或第二定律，否则机器人必须保护自己。后来，这篇小说被合入1950...
AI 简史：从神经元到现代大模型
略懂……略懂……
12-25 7302
本文概述 AI 的发展历程，梳理出从早期神经网络模型到现代大型语言模型发展过程中的重要里程碑。
天才程序员周弈帆 | Stable Diffusion 解读（一）：回顾早期工作
csdn_xmj的博客
06-08 2397
Stable Diffusion由两类AE的变种发展而来，一类是有强大生成能力却需要耗费大量运算资源的DDPM，一类是能够以较高保真度压缩图像的VQVAE。Stable Diffusion是一个两阶段的图像生成模型，它先用一个使用KL正则化或VQ正则化的VQGAN来实现图像压缩，再用DDPM生成压缩图像。可以把额外的约束（如文字）输入进DDPM以实现带约束图像生成。
【HCIE备考】笔试题库P1-10
逗老师的博客
08-16 4186
目录PART 1PART 2PART 3PART 4PART 5PART 6PART 7PART 8PART 9PART 10 PART 1 一、单选题 (本大题共33个小题，总33分) 1/单选题 跨设备链路聚合实现了数据流的传输和堆叠成员交换机的相互备份，但是由于堆叠设备间堆叠线缆的带宽有限，可以通过以下哪种方式提高转发效率? A 通过堆叠卡连接堆叠设备 B 使能堆叠多主检查功能 C 配置堆叠系统MAC地址切换 D 使能流量本地优先转发 正确答案: D 2/单选题 现有一台交换机运行了RSTP。如果网络
菜鸟要学的数据库必备知识.ppt
05-31
菜鸟要学的数据库必备知识.ppt
系统总结：AI产品经理知识体系.pdf
06-01
系统总结：AI产品经理知识体系
【高性能计算与编程工具】Intel oneAPI工具套件：跨架构编程与加速计算解决方案
06-01
内容概要：本文档介绍了Intel oneAPI工具集及其行业倡议，旨在提供跨架构编程解决方案，支持加速计算并打破专有锁定。oneAPI允许开发者选择最佳硬件加速技术，实现跨CPU、GPU、FPGA及其他加速器的性能优化。它兼容多种编程语言和模型（如C++、Python、SYCL、OpenMP等），并通过开放标准确保未来兼容性和代码重用。文档详细描述了oneAPI工具包的功能，包括渲染、高性能计算(HPC)、物联网(IoT)、AI分析等领域的应用。此外，还介绍了DPC++（数据并行C++）编程语言及其在不同硬件架构上的执行方式，以及Intel提供的各种优化库和分析工具，如Intel MKL、IPP、VTune Profiler等。最后，通过实际案例展示了oneAPI在医疗成像和超声产品中的成功应用。 适合人群：软件开发人员、硬件工程师、系统架构师、OEM/ODM厂商、ISV合作伙伴，特别是那些需要在多种硬件平台上进行高效编程和性能优化的专业人士。 使用场景及目标：①为跨架构编程提供统一的编程模型，简化多硬件平台的应用开发；②利用开放标准和工具集，提高代码可移植性和重用性；③通过优化编译器和技术库，提升应用程序的性能表现；④借助分析和调试工具，快速识别并解决性能瓶颈。 其他说明：Intel oneAPI工具集不仅支持现有编程语言和模型，还提供了强大的中间件和框架支持，适用于多样化的应用负载需求。开发者可以通过Intel DevCloud获取实际操作经验，同时利用DPC++兼容性工具将现有CUDA代码迁移到SYCL环境。此外，文档还提供了详细的性能优化指南和未来产品路线图，帮助用户更好地规划技术演进路径。
“班级网站设计源代码完整重写标题”
最新发布
06-01
“班级网站设计源代码”项目是网页设计初学者及有一定基础的设计师的理想学习资源。它提供了完整的源代码，涵盖构建可运行班级网站所需的所有文件。网页设计包含前端开发、后端开发和用户体验设计等多个方面，而这个项目能帮助你深入理解这些技术的实际应用。 首先，HTML是网页的基础，它通过标签定义网页的结构，如标题、段落、图片和链接等。在这个项目中，你可以清晰地看到如何利用HTML搭建网页的框架。其次，CSS用于控制网页的样式和布局，赋予网页视觉美感。通过设置颜色、字体、布局以及响应式设计，CSS确保网站能在不同设备上良好显示。项目中的源代码展示了如何运用CSS实现多样化的样式效果。 JavaScript则是实现网页动态功能的关键，它能够处理用户交互、数据操作和动画效果。在这个班级网站中，JavaScript代码可能用于实现按钮点击事件、表单验证或页面动态更新等功能。此外，响应式设计是现代网页设计的重要组成部分。借助媒体查询和流式布局，该班级网站能够自动适应手机、平板和桌面电脑等不同设备的屏幕尺寸。 为了提高开发效率，现代网页设计常常会引入前端框架和库，如Bootstrap或Vue.js。这些工具提供了一套预设的样式和组件，简化了网页的构建过程。虽然具体是否使用了这些框架需要查看源代码，但了解它们的工作原理对于提升网页设计能力至关重要。 如果班级网站包含用户登录、留言等功能，那么后端技术（如PHP、Node.js或Python）和数据库（如MySQL或MongoDB）也会被涉及。这部分代码主要负责处理数据的提交、验证和存储，以及与服务器的通信。 用户体验（UX）和界面设计也是网页设计的重要方面。一个优秀的网站不仅要有美观的外观，还要具备良好的易用性。通过观察和分析这个班级网站的布局和交互设计，你可以学习如何提升用户体验，例如如何设计清晰的导航、易读的信息和直观的操作流程。 通过深入研究“
人工智能不是洪水猛兽，而是一场渐进性的颠覆.pdf
06-01
人工智能不是洪水猛兽，而是一场渐进性的颠覆
【计算机视觉】YOLOv8数据集构建与训练优化：从数据标注到模型部署的全流程指南
06-01
内容概要：本文是YOLOv8数据集构建与训练的VIP专享指南，详细介绍了从数据采集到模型部署的全流程。首先提供了官方数据集标准模板，涵盖COCO和YOLO格式，并附带了标注工具VIP加速包推荐。接着阐述了自定义数据集构建流程，包括硬件要求、数据清洗技巧（如模糊图像过滤）、高级标注策略（如困难样本挖掘）。然后深入探讨了数据增强方法，从基础增强组合到针对特殊场景的增强方案，如夜间检测、小目标密集场景等。训练优化部分则给出了数据集划分比例、超参数调优模板以及多GPU训练指令。最后分享了数据集质量诊断与优化方法，以及两个高级实战案例（无人机巡检和工业缺陷检测），并提供了一份模型部署前的数据校验清单。 适合人群：面向有一定深度学习基础，特别是从事计算机视觉领域的研究人员和工程师。 使用场景及目标：①帮助用户掌握YOLOv8数据集构建的完整流程；②通过实例教学提升数据集质量和模型性能；③为实际项目中的YOLOv8应用提供参考和指导。 阅读建议：由于本文涉及大量技术细节和实践操作，建议读者结合具体案例进行学习，并动手实践文中提到的各种工具和技术，以便更好地理解和应用YOLOv8的相关知识。
扩散模型DDPm
03-19
<think>好的，用户想了解扩散模型DDPM的实现和解释。首先，我需要回忆一下DDPM的基本概念。扩散模型主要包括正向过程和反向过程，正向过程逐步添加噪声，反向过程学习去噪。用户可能对这两个过程的具体实现感兴趣。 接下来，我需要考虑如何用中文清晰解释这些概念。根据用户提供的引用[2]，生成模型的目标是建模复杂数据分布，并通过简单分布进行采样。这可能涉及到正向过程如何将数据逐渐变为噪声，反向过程如何从噪声恢复数据。 用户还提到实现方法，可能需要代码示例。我需要确保代码正确，使用PyTorch框架，并遵循用户对LaTeX格式的要求，例如数学公式用$...$或$$...$$。比如，正向过程的公式应该是： $$q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t\mathbf{I})$$ 然后，反向过程需要参数化网络来预测噪声，损失函数可能是MSE。代码部分要展示如何定义噪声调度、UNet模型和前向传播过程。 用户可能对如何训练模型和采样过程有疑问，所以需要详细解释训练循环和采样步骤。此外，引用[1]提到的采样步骤可能涉及到反向去噪的迭代过程，这部分需要结合引用内容。 最后，生成相关问题时要覆盖原理、数学、优化和应用等方面，确保问题有针对性，帮助用户深入理解。比如，损失函数的设计、与VAE的区别、优化方法等。 需要检查所有数学表达式是否符合格式要求，代码是否正确缩进，引用标识是否正确添加。确保回答结构清晰，分点解释，并自然融入引用内容。</think>### 扩散模型DDPM详解与实现 扩散模型（Denoising Diffusion Probabilistic Models, DDPM）通过逐步加噪与去噪过程实现数据生成，核心包含**正向扩散过程**和**反向去噪过程**[^2]。 #### 1. 核心原理 - **正向扩散过程**：将数据$x_0$通过$T$步逐渐添加高斯噪声，得到$x_T \sim \mathcal{N}(0,\mathbf{I})$： $$q(x_t|x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t\mathbf{I})$$ 其中$\beta_t$为噪声调度参数，控制噪声添加速度[^1]。 - **反向去噪过程**：通过神经网络学习从$x_t$恢复$x_{t-1}$： $$p_\theta(x_{t-1}|x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t,t), \Sigma_\theta(x_t,t))$$ #### 2. 关键实现步骤 ```python import torch import torch.nn as nn class UNet(nn.Module): def __init__(self): super().__init__() # 定义包含时间嵌入的UNet结构 self.time_embed = nn.Embedding(1000, 64) self.conv1 = nn.Conv2d(3, 64, 3, padding=1) # 添加下采样和上采样层... def forward_diffusion(x0, t, beta): """正向扩散过程""" sqrt_alpha = torch.sqrt(1 - beta[t]) noise = torch.randn_like(x0) xt = sqrt_alpha * x0 + torch.sqrt(beta[t]) * noise return xt, noise # 噪声调度设置（线性/余弦） T = 1000 beta = torch.linspace(1e-4, 0.02, T) ``` #### 3. 训练与采样 - **训练目标**：最小化预测噪声的MSE损失： $$\mathcal{L} = \mathbb{E}_{t,x_0,\epsilon}\left[\|\epsilon - \epsilon_\theta(x_t,t)\|^2\right]$$ - **采样过程**：从$x_T \sim \mathcal{N}(0,1)$开始迭代去噪： $$x_{t-1} = \frac{1}{\sqrt{\alpha_t}}(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\epsilon_\theta(x_t,t)) + \sigma_t z$$ #### 4. 代码实现要点 ```python def train_step(model, x0, beta): t = torch.randint(0, len(beta), (x0.size(0),)) xt, noise = forward_diffusion(x0, t, beta) pred_noise = model(xt, t) loss = F.mse_loss(pred_noise, noise) return loss def sample(model, shape, beta): x = torch.randn(shape) for t in reversed(range(T)): x = denoise_step(model, x, t, beta) return x ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值