参考资料
Oliver Woodford:Notes on Contrastive Divergence
CD(Contrastive Divergence)算法由Geoffrey Hinton提出,用于求ML(Maximum-Likelihood)问题的近似解。
问题描述
假设模型为,为模型参数,则的概率可以表示为
.
(1)
其中
是归一化函数,因为概率和等于1。
假设训练集是 ,根据最大似然原则,要使得训练集的联合概率最大,即最大化
.
(2)
若对上式取负对数,则问题就相当于最小化能量
(3)
这就是ML问题的描述,下面以几个例子说明如何求解。
ML问题求解
- 假如模型为单高斯分布,即