机器学习笔记：李宏毅diffusion model

1 概念原理

• 首先sample 一个都是噪声的vector
• 然后经过denoise network 过滤一些杂质
• 接着继续不断denoise，直到最后出来一张清晰图片

• 【类似于做雕塑，一开始只是一块石头（噪声很杂的雕塑），慢慢雕刻出想要的花纹】

 

 

• 同一个denoise network的模型反复使用
• 但每一个stage输入的图片的状况差异很大
• ——>完全是同一个模型效果不一定好

• denoise network还多需要一个输入，野鸡现在denoise的阶段
  • 1表示denoise快结束了的阶段
  • 1000表示刚开始denoise的阶段

2   denoise内部原理

•  预测图片里面的噪声长什么样
• 输入图片减去输出的噪声，得到这一轮去噪后的图片
  • 预测noise的原因：产生图片和产生noise 难度是不一样的

2.1 noise predictor的ground truth

那么如何训练noise predictor，换句话说，怎么找到ground-truth呢

 

•  从资料库中拿出图片
• 再从高斯分布/或者其他分布中产生噪声
• 将这个噪声加入图片中，就有了带噪声的图片

 这样就形成了一对一对的 输入和ground-truth ，供noise predictor 训练

3 用文字生成图片

如果我们是提供给diffusion model 文字，让他生成图片

 整体的框架没有多少变化，就是 denoise model 输入多了一个文字的vector