[学习笔记] 扩散模型 Diffusion

前置知识-生成模型

机器学习是人工智能的一种，它是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。

机器学习分为监督学习、无监督学习和强化学习，这是根据数据训练方式分类的，通俗来说，监督学习是基于已知结果的数据集进行训练，而无监督学习的数据集没有明确的已知结果，无监督学习没有真值标签，学习的是数据的统计规律、潜在结构。

概率模型是为了求得数据的后验概率P(Y|X)或者联合概率P(X,Y)

---

先验概率（Prior Probability）是指在未观测到任何新信息或证据的情况下，对事件发生概率的主观或经验性判断。先验概率通常基于以往的经验或领域知识，而不考虑当前的具体条件。先验概率通常表示为P(A)，其中A是某个事件。

联合概率（Joint Probability）是指两个或多个事件同时发生的概率。假设有两个事件A和B，它们的联合概率可以表示为P(A∩B)，即事件A和事件B同时发生的概率。

后验概率（Posterior Probability）是在考虑到先验概率的基础上，根据新的观测或证据来更新对事件发生概率的推断。后验概率通常表示为P(A|B)，其中B是已经观测到的事件，表示在事件B发生的条件下，事件A发生的概率。

【概率论】先验概率、联合概率、条件概率、后验概率、全概率、贝叶斯公式_Mr_health的博客-CSDN博客

朴素贝叶斯（Naive Bayes），联合概率，条件概率，先验概率，后验概率_前概率条件概率联合概率后概率_贾世林jiashilin的博客-CSDN博客

---

对于监督学习而言，判别模型主要是求后验概率，也就是根据输入的特征X去确定确定标签信息Y。生成模型主要是为了求得联合概率，对于X，求出X与不同标记之间的联合概率分布，取其中大的。

红色小三角是我们需要分类的对象，对于判别模型来说，判别模型训练出来的是这条决策边界，根据这个红色小三角离决策边界的距离判定红色小三角属于什么类别。

而对于生成模型来说，学习到的是概率分布，在图示案例中，有两个类，我们分别求红色小三角与这两个类的联合概率分布，红色小三角属于联合概率分布大的那个类。通过贝叶斯公式，由生成式模型可以得到判别式模型。

 链接：生成模型（1）-无监督生成模型 - 知乎 (zhihu.com)

生成模型意味着对输入特征和标签信息的联合分布进行建模，无监督学习意味着不存在标签信息，那么在无监督生成模型中，是对输入特征的概率密度函数建模。训练得到的概率模型应接近于输入特征的概率密度函数，我们可以从概率模型中采样来“生成“样本。

对于无监督生成模型来说，如何进行概率密度估计，训练出概率模型，如何采样生成样本，是需要解决的两个难点。

---

二、Diffusion Model 概述

---

参考链接：

由浅入深了解Diffusion Model - 知乎 (zhihu.com)

Diffusion模型详解_difusion_鬼道2022的博客-CSDN博客

扩散模型（Diffusion Model）——由浅入深的理解_WSLGN的博客-CSDN博客

 扩散模型/Diffusion Model原理讲解_哔哩哔哩_bilibili

54、Probabilistic Diffusion Model概率扩散模型理论与完整PyTorch代码详细解读_哔哩哔哩_bilibili

---

事实上，公式的推理部分我依然没能全部看懂，因此这里只是了解了相关工作流程

2.1 前向扩散过程

diffusion在实现和推导过程中要用到的两个重要特性：

 那么即可进行推导。

 2.2 反向扩散过程

 那么DDPM逆向扩散可以总结为下图：