- 博客(8)
- 收藏
- 关注
原创 从SDE的离散化出发统一扩散模型(完整版)
从2020年扩散模型大火之后,各种各样的模型结构、优化方法等等层出不穷,令人眼花缭乱。对于像笔者一样的初学者而言,只靠读论文并不能很好的理解模型的起源,也就是作者这样优化的intuition从哪里来,其底层逻辑是什么。因此,笔者在本文中,通过扩散模型最本质的物理方程:即Ito随机微分方程出发,分前向加噪过程和反向采样过程两个角度,对主流的扩散模型思想的motivation进行解释,并以对初学者相当友好的方式统一主流的Diffusion Model。注:本文为笔者在索尼中国研究院实习期间所撰写;
2023-09-04 00:22:54 348 1
原创 从SDE的离散化出发统一扩散模型(一)
从2020年扩散模型大火之后,各种各样的模型结构、优化方法等等层出不穷,令人眼花缭乱。对于像笔者一样的初学者而言,只靠读论文并不能很好的理解模型的起源,也就是作者这样优化的intuition从哪里来,其底层逻辑是什么。因此,笔者在本文中,通过扩散模型最本质的物理方程:即Ito随机微分方程出发,分前向加噪过程和反向采样过程两个角度,对主流的扩散模型思想的motivation进行解释,并以对初学者相当友好的方式统一主流的Diffusion Model。注:本文为笔者在索尼中国研究院实习期间所撰写。
2023-09-02 00:10:11 211 1
原创 优化Diffusion Model的采样过程
我们从加速Sampling Process和提高Sampling质量两个角度,对Diffusion的采样过程进行优化。* Slides均是由笔者在AI Lab, Sony实习期间所制作的。
2023-08-30 19:15:58 64
原创 论文导读:DDIM
原文:[ICML2021]Denoising Diffusion Implicit Models。Implicit probabilistic models:定义一个随机过程可以随机生成数据。DDPM等模型的反向过程需要多次迭代,生成一张图片就需要几千次迭代,速度远比GANs要慢。模型核心:加速DDPM的采样过程。
2023-08-27 14:35:32 182 1
原创 从三种视角看Diffusion Model
在下文中,我们从Denoising Diffusion Probabilistic Model,Score-based Modeling,Stochastic Differential Equation三个视角看扩散模型,以此对扩散模型进行更好地理解。
2023-08-21 17:49:19 57 1
原创 论文导读:[NeurIPS2020]Denoising Diffusion Probabilistic Models
随机选择一个训练样本->从1-T随机抽样一个t->随机产生噪声-破坏后的原图->输入网络预测噪声->计算产生的噪声和预测的噪声的L2损失->计算梯度并更新网络。核心思想:描述状态转移的函数,当前步骤的Transmittion Matrix只依赖于上一步的状态。UNet网络结构较简单,或许是一个可以优化的点,可否设计更精妙的Network?是一个模型,是训练所得到的结果,输出结果时,每个位置都要生成一个噪音点。最后一步(t=1)的时候,不添加噪音点,z=0。XT是最终生成的噪音,其符合标准正态分布。
2023-08-10 16:11:01 78 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人