【概率方法】朗之万动力学 Langevin Dynamics

目前我们了解到采样方法有很多种，按照从朴素到高效的演变顺序大致是

• 反函数采样
• 蒙特卡洛模拟（求统计量）
• 接受-拒绝采样
• MCMC
  • HM 算法
  • Gibbs 采样

接上一篇文章，Gibbs 采样能在有条件分布 $p({\mathbf{x}}_d^{\prime }|{\mathbf{x}}_{-d})$ 的情况下对高维分布进行采样，并且接受率为1，有很高的效率，但是 Gibbs 采样也不是完美的。很多时候我们如果想要采样一个 $p(\mathbf{x})$ 但是写不出条件分布或者边缘分布，怎么办呢？（比如说 $\mathbf{x}$ 是一个图片，$p(\mathbf{x})$ 是一个 NN，那么这个概率显然是没法求的）

Langevin Dynamics

朗之万动力学的想法和 HM 有几分神似，先任意选择一个 ${\mathbf{x}}_0$ ，然后重复：

1. 求 ${\mathbf{x}}_t$ 的梯度 $\nabla p({\mathbf{x}}_t)$
2. 带噪声梯度上升：如果$ϵ$视作学习率，梯度上升的过程中加 $\sqrt{2ϵ}$ 倍的正态分布噪声，更新样本 $${\mathbf{x}}_{t+1}={\mathbf{x}}_t+ϵ\nabla p({\mathbf{x}}_t)+\sqrt{2ϵ}{z}_i,z_i\sim \mathcal{N}(0,1)$$
   

直觉

这样做的直觉是，梯度上升项会让样本集中在分布的峰上，而噪声项可以让样本在峰周围游走。
对比HM：HM算法是，如果跳跃的方向是往 $p(x)$ 的高概率方向跳跃的，那么就 $100\%$ 概率接受；反之，有概率接受，有概率不接受。实际上也是在促使样本往高概率峰移动，但是保留样本从峰上下来，在周边游走的可能性。

改进——MALA

如果简单地使用朗之万采样，会有问题：

• 对于梯度下降的经典峡谷地形，朗之万采样也会有同样的问题，就是一直在山谷两侧震荡，不往中间走。
• $ϵ$ 不好调参，低维（<=2）的时候还能从视觉上看分布的采样效果，但是高维的时候基本上只能看一些统计指标
• 当分布有孤立的“岛屿”的时候，从初始点开始可能难以跳跃到别的岛屿。

MALA （Metropolis adjusted Langevin algorithm）就不仅仅使用 $\nabla p(\mathbf{x})$ 进行朗之万的梯度上升，还缝合整合了 MH 算法，用 $p(\mathbf{x})$ 进行采样，这样只要时间足够长总是收敛到正确的分布，无论$ϵ$ 是大还是小

MALA 的 demo 页面

退火朗之万

还可以继续改进，给朗之万动力学的 $ϵ$ 套一个退火，在开始的时候学习率很大，来学习大致的峰的形状，然后学习率逐渐变小，来学习分布的具体细节。这样选择 $ϵ$ 的问题转化成选择退火的超参的问题，从而可以跳出孤岛，和狭窄的峡谷地形
$$ϵ={ϵ}_0(\beta +t{)}^{\gamma }$$