- 博客(8)
- 收藏
- 关注
RSS订阅
原创 从SDE的离散化出发统一扩散模型（完整版）
从2020年扩散模型大火之后，各种各样的模型结构、优化方法等等层出不穷，令人眼花缭乱。对于像笔者一样的初学者而言，只靠读论文并不能很好的理解模型的起源，也就是作者这样优化的intuition从哪里来，其底层逻辑是什么。因此，笔者在本文中，通过扩散模型最本质的物理方程：即Ito随机微分方程出发，分前向加噪过程和反向采样过程两个角度，对主流的扩散模型思想的motivation进行解释，并以对初学者相当友好的方式统一主流的Diffusion Model。注：本文为笔者在索尼中国研究院实习期间所撰写；
2023-09-04 00:22:54
479
1
原创 从SDE的离散化出发统一扩散模型（一）
从2020年扩散模型大火之后，各种各样的模型结构、优化方法等等层出不穷，令人眼花缭乱。对于像笔者一样的初学者而言，只靠读论文并不能很好的理解模型的起源，也就是作者这样优化的intuition从哪里来，其底层逻辑是什么。因此，笔者在本文中，通过扩散模型最本质的物理方程：即Ito随机微分方程出发，分前向加噪过程和反向采样过程两个角度，对主流的扩散模型思想的motivation进行解释，并以对初学者相当友好的方式统一主流的Diffusion Model。注：本文为笔者在索尼中国研究院实习期间所撰写。
2023-09-02 00:10:11
223
1
原创 优化Diffusion Model的采样过程
我们从加速Sampling Process和提高Sampling质量两个角度，对Diffusion的采样过程进行优化。* Slides均是由笔者在AI Lab, Sony实习期间所制作的。
2023-08-30 19:15:58
71
原创 论文导读：DDIM
原文：[ICML2021]Denoising Diffusion Implicit Models。Implicit probabilistic models：定义一个随机过程可以随机生成数据。DDPM等模型的反向过程需要多次迭代，生成一张图片就需要几千次迭代，速度远比GANs要慢。模型核心：加速DDPM的采样过程。
2023-08-27 14:35:32
200
1
原创 从三种视角看Diffusion Model
在下文中，我们从Denoising Diffusion Probabilistic Model，Score-based Modeling，Stochastic Differential Equation三个视角看扩散模型，以此对扩散模型进行更好地理解。
2023-08-21 17:49:19
65
1
原创 论文导读：[NeurIPS2020]Denoising Diffusion Probabilistic Models
随机选择一个训练样本->从1-T随机抽样一个t->随机产生噪声-破坏后的原图->输入网络预测噪声->计算产生的噪声和预测的噪声的L2损失->计算梯度并更新网络。核心思想：描述状态转移的函数，当前步骤的Transmittion Matrix只依赖于上一步的状态。UNet网络结构较简单，或许是一个可以优化的点，可否设计更精妙的Network？是一个模型，是训练所得到的结果，输出结果时，每个位置都要生成一个噪音点。最后一步（t=1）的时候，不添加噪音点，z=0。XT是最终生成的噪音，其符合标准正态分布。
2023-08-10 16:11:01
100
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人