(2024,SDE,对抗薛定谔桥匹配,离散时间迭代马尔可夫拟合,去噪扩散 GAN)

Adversarial Schrödinger Bridge Matching

公众号:EDPJ(进 Q 交流群:922230617 或加 VX:CV_EDPJ 进 V 交流群) 

目录

0. 摘要

1. 简介

4. 实验


0. 摘要

薛定谔桥(Schrödinger Bridge,SB)问题提供了一个结合最优输运(optimal transport)和扩散模型的强大框架。一个解决 SB 问题的有前景的新方法是迭代马尔可夫拟合(Iterative Markovian Fitting,IMF),它在连续时间随机过程的马尔可夫和倒向投影(reciprocal projection)之间交替。然而,由于使用了许多步的随机微分方程数值求解器,IMF 程序构建的模型推理时间较长。为了解决这个限制,我们提出了一种新的离散时间 IMF(D-IMF),其中随机过程的学习被替换为仅在离散时间内学习几个转移概率。其主要优点是它在实践中可以自然地通过去噪扩散 GAN(DD-GAN)实现,这是一种已经很成熟的对抗生成建模技术。我们展示了我们的 D-IMF 程序可以在仅用几步生成代替数百步生成的情况下,提供与 IMF 相同质量的无监督域迁移。

(2022|ICLR,扩散 GAN,少量步扩散,对抗散度,非饱和 GAN)用去噪扩散 GAN 解决生成学习难题_高样本质量、模式覆盖和快速采样-CSDN博客 

1. 简介

贡献。本论文通过引入一种新方法来学习薛定谔桥(Schrödinger Bridge),解决了现有迭代马尔可夫拟合(IMF)框架推理时间较长的限制。

  • 理论 I。我们引入了离散迭代马尔可夫拟合(D-IMF)(sec. 3.2, 3.3),创新性地应用离散马尔可夫投影来解决薛定谔桥问题,而不依赖随机微分方程。这一方法显著简化了推理过程,使其在理论上仅需几步评估即可完成。

  • 理论 II。我们推导了处理高维高斯分布时 D-IMF 程序的闭式(closed-form)更新公式。这一进展允许对我们方法的收敛率进行详细的实证分析,并增强其理论基础(sec. 3.4, 4.1)。

  • 实践。对于通过样本获得的一般数据分布,我们提出了一种算法(Adversarial Schrödinger Bridge Matching,ASBM)来实际实现离散马尔可夫投影和我们的 D-IMF(sec. 4.2)。我们的算法基于对抗学习和去噪扩散 GAN [49]。我们学习的 SB 模型在推理中仅使用 4 步评估(sec. 3.5),而不是基础 IMF [43] 的数百步。

4. 实验

我们通过使用 sec. 3.4 中的 D-IMF 解析公式进行实验。我们遵循 [12] 中的设置,并考虑维度 D = 16 和 ϵ∈{1,3,10} 的中心高斯分布 p0=N(0,Σ0) 和 p1=N(0,Σ1) 的薛定谔桥问题。 

我们发现,在所有情况下,我们的 D-IMF 过程显示出指数级的收敛速度。如图 2a 所示,收敛速度对时间步 N 的依赖性迅速饱和。因此,即使只有几个时间点,例如 N = 5,也能提供快速的收敛速度。从图 2b 可以明显看出,收敛速度受参数 ϵ 的选择影响很大。例如,从 ϵ=1 到 ϵ=10 的过渡需要多十倍的 D-IMF 迭代次数。因此,这个超参数在实际问题中可能非常重要。 

Diffusion schrödinger bridge matching(DSBM) 

  • 16
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值