score-based generative models (Yang Song) 笔记

20220524

Yang Song’s blog

方法

• The score function, score-based models, and score matching

  • Fisher divergence
  • score：从当前 $x$ 指向 $p(x)$ 更大的方向
    • 联系 diffusion model：对当前 $x$ 的噪声估计
  • 如何直接估计 gt score ？
  • 同 flow 讲，对 $S_{\theta }$ 没有约束

• Langevin dynamics

  采样方法
  * 联系 diffusion model：逐步去噪

• Naive score-based generative modeling and its pitfalls

  由于实际求期望时由 $p(x)$ 加权，低密度区域 score 估计不准确 ，进一步导致郎之万采样在开始存在偏差

• Score-based generative modeling with multiple noise perturbations

  • noise-perturbed distribution
    实际采样（扰动）方法：直接加高斯噪声
    
    
    对原 Fisher divergences 加权
    

• Score-based generative modeling with stochastic differential equations (SDEs)

  连续的扰动数据方法
  

  • 联系 diffusion model：将噪声估计写成 sde 的形式
  • $f(x,t)$ 是什么？

  给出一种特例：
  

  • 联系 diffusion model：等价于离散的 ${\sigma }_t$ 为 geometric progression

• Reversing the SDE for sample generation
  闭式解：
  

  老样子用 训练好的 $s_{\theta }$ 来估计
  

  训练目标
  
  

  • 联系 diffusion model：是否可以理解为使用 $\frac{1}{{\sigma }_t^2}$ 来加权？

  $D_{KL}$ 上界
  

• How to solve the reverse SDE
  Euler-Maruyama method
  

  • Predictor-Corrector sampler: 先进行上式采样，再进行 MCMC refine 采样。问题：如何进行 MCMC？

• Probability flow ODE

  exact likelihood computation
  逆向的时候拿掉噪声项
  类比 diffusion model：ddim

• Controllable generation for inverse problem solving
  
  条件生成：

  • class-conditioned
  • imputation
    • colorization

  非常有意思，但还没看懂。。细节在 paper 附录

• Connection to diffusion models and others