学习目标:
有关DDPM+VIT的论文
学习内容:
1、Few-Shot Diffusion Models
2、Your ViT is Secretly a Hybrid Discriminative-Generative Diffusion Model
学习时间:
11.20-11.25
学习产出:
1、Few-Shot Diffusion Models
提出基于DDPM+VIT的少样本模型FSDM
DDPM正常加噪,通过VIT提取样本集合的上下文c,在去噪过程中将X0使用c代替,即通过Xt和c去预测Xt-1
2、Your ViT is Secretly a Hybrid Discriminative-Generative Diffusion Model![在这里插入图片描述](https://img-blog.csdnimg.cn/02aa96cd40a2460a83b04311a7ff3856.png)
DDPM加噪过程不变,去噪过程中将DDPM中的Unet模型替换为VIT,且ViT输入编码由位置编码替换为时间步。