DBN(PoE and Contrastive Divergence)

把 <<[2002 Nuural Co mputation, 675]#######training products of experts by minimizing contrastive divergence>>这篇论文看了一遍，其实只看了一半

觉得PoE和contrastive divergence以及RBM学习算法这部分可以过了

主要意思是这样的：

1.RBM是PoE的一个特例

2.PoE可以用contrastive divergence来进行学习

3.contrastive divergence的学习方法大致是这样的：

本来是要进行极大似然学习的，也就是计算目标函数对权重的偏导数，并且使权重沿偏导数方向移动

但是偏导数计算量特别大，因为涉及到了Gibbs抽样（需要无限次），所以不用这个方法

发现了极大似然学习的目标函数等价于KL散度

更换了目标函数：极小化KL散度与CD1-KL散度的差

对这个新的目标函数求偏导数之后发现有两项是很容易计算的，第三项可以忽略掉

而且在实际应用中效果还不错

接下来的工作：

1. helmholtz machines and wake-sleep learning

2.啃大头。。。。