【图像转换】扩散桥模型 DDBM：YYDS！既增强 pix2pix 多样性、又增强扩散模型确定性、还增强 BBDM 灵活性

Debroon

已于 2024-02-05 22:08:18 修改

阅读量4.2k

点赞数 39

文章标签：人工智能神经网络

于 2024-01-26 09:37:29 首次发布

本文链接：https://blog.csdn.net/qq_41739364/article/details/135857454

版权

扩散桥模型 DDBM：YYDS！既增强 GAN 多样性、又增强扩散模型确定性、还增强 BBDM 灵活性

核心思想
大问题：如何改进生成模型以更有效地处理数据分布的转换和提高生成样本的质量？
效果
VE (Variational) 方法
VP (Probabilistic) 方法
读后感：Fundus 转 OCT图像的生成（只是猜想，不一定）

总结

核心思想

论文：https://arxiv.org/pdf/2309.16948.pdf

代码：https://github.com/alexzhou907/DDBM?tab=readme-ov-file

前置：Diffusion 扩散模型：论生成领先多样性，GAN太单一；论尊贵清晰度独占鳌头，VAE常失真

前置：布朗桥扩散模型 BBDM：全网最强图像转换算法，完胜 GAN、扩散模型

扩散桥模型 DDBM 和布朗桥扩散模型 BBDM 是一类。

布朗桥是一种特殊类型的扩散桥，它基于布朗运动（或随机漫步），这是一种特殊的高斯过程。

布朗桥在起始和终止时刻具有确定的值。

布朗桥是线性的，并且其增量遵循高斯分布。这使得它在数学处理上比一般的扩散桥更简单。
扩散桥是指在给定起始和终止条件下的扩散过程。

这种过程不一定是线性的或高斯分布的，可以是任何类型的连续时间随机过程。

灵活性：扩散桥可以基于各种类型的随机过程构建，不局限于布朗运动。它可以是非线性的，也可以有非高斯分布的动态。

补充前置知识：常微分方程ODE、随机微分方程SDE

随机微分方程 SDE：在建模中加入随机扰动，模拟现实世界系统中的不确定性和随机噪声。例如，在图像生成的扩散模型中，正向过程通过 SDE 添加噪声，模拟了现实世界噪声的影响。
常微分方程 ODE：无随机扰动的确定性过程。在相同的扩散模型中，逆向过程（时间逆转）可以使用ODE来建模，因为在这个过程中我们希望去除噪声，恢复出清晰的图像。

Forward SDE (随机微分方程):
- 这是扩散桥的前向过程，从左边的 ( X_0 ) 开始，应用随机微分方程，通过加入噪声（表示为 ( dw_t )）逐渐转化为 ( X_T )。
- 方程中的 $f(X_t, t)$ 是漂移函数， $g^2(t)$ 是扩散系数， $h(x_t, t, y, T)$ 是一个调整项，它指导扩散过程朝向终点 ( y )。
- 方程右边的蓝色箭头表示漂移调整的方向，即 $\nabla_{X_t} \log p(X_T | X_t)$ 。
Probability Flow ODE (常微分方程):
- 这是扩散桥的逆向过程，也从 ( X_0 ) 开始，但使用常微分方程（没有噪声项）逆向地重建路径到 ( X_T )。
- 这个过程是确定性的，方程中的 $s(X_t, t, y, T)$ 代表了在给定 ( X_T ) 时 ( X_t ) 的分布梯度。
- 方程下方的橙色箭头表示条件分数 $\nabla_{X_t} \log q(X_t | X_T)$ 。

上图展示了从左至右，扩散过程如何逐渐将一个清晰的图像（如老虎的脸）添加噪声，变得越来越不清晰，直到最后变成一幅完全由噪声构成的图像。

然后，概率流ODE的过程逆转这个噪声图像回到原始清晰图像，但这个过程是双向的且确定性的，这意味着它可以精确地逆向跟踪扩散路径。

这张图说明 DDBMs 如何在扩散过程中通过向终点添加漂移调整，以及如何通过匹配去噪扩散分数来逆向扩散过程。

白色节点代表确定性的状态，而图中的灰色节点代表随机性的状态。

总结：

扩散桥可以基于任何类型的连续时间随机过程，而布朗桥特指基于布朗运动的过程。
扩散桥更为灵活，可以适应各种复杂的随机过程，而布朗桥通常涉及更简单的线性高斯过程。
比如图像到图像转换，涉及的转换模态很复杂的话，扩散桥模型 DDBM 比布朗桥扩散模型 BBDM 要好！

DDBM 解决 BBDM，在处理非标准高斯分布间的转换中的局限性

解法：使用固定端点的扩散过程（Diffusion Process with Fixed Endpoints）
原因：通过固定端点，扩散过程可以用于处理从一个特定分布到另一个特定分布的转换，如图像到图像的转换。

大问题：如何改进生成模型以更有效地处理数据分布的转换和提高生成样本的质量？

各算法对比图：

解法：扩散桥模型 DDBM。

详细过程及其针对的问题：

数据分布转换的挑战：
- 问题：传统生成模型难以处理从一个复杂数据分布到另一个的转换。
- 解法：应用扩散过程，模拟数据分布从初始状态向目标状态的逐渐转移。
- 原因：扩散过程能够连续地变化数据，逐步接近目标分布。
扩散过程的应用：
- 问题：需要一种方法来逐步转移数据分布。
- 解法：通过扩散过程逐渐改变数据点。
- 原因：扩散过程通过增加逐渐减少的噪声，使数据逐步接近目标状态。
去噪分数匹配的引入：
- 问题：如何提高生成数据的逼真度和控制性。
- 解法：采用去噪分数匹配技术。
- 原因：这种技术通过学习数据分布的梯度来指导精确的数据生成。
处理非标准高斯分布间的转换：
- 问题：扩散模型在处理非高斯分布间转换时的限制。
- 解法：使用固定端点的扩散过程。
- 原因：固定端点使得扩散过程可以适用于任意分布之间的转换。
通用参数化：
- 问题：使扩散桥模型适应多种应用场景的需要。
- 解法：采用通用参数化方法。
- 原因：通过调整得分网络参数化，使模型能够处理多种分布转换任务。
时间逆转的SDE和ODE：
- 问题：如何有效地从目标分布逆向生成样本。
- 解法：采用时间逆转的SDE和ODE。
- 原因：这些方法能逆转扩散过程，从而有效地从目标分布生成样本。
采样过程的优化：
- 问题：提高采样过程的多样性和质量。
- 解法：引入噪声的高阶混合采样器。
- 原因：此方法结合多种采样步骤，避免输出模糊，提高样本多样性和质量。