RBM的理解

RBM 是基于能量函数的无向图模型。将图节点分为可见层节点v和隐藏层节点h，其联合概率分布p(h,v)可表示为

其中，能量函数。

利用RBM计算p(h|v)的概率，即在可见层已知时，计算隐藏层h的概率。要根据v推断h,可求argmax p(h|v)。先得通过训练样本来估计模型参数。

采用极大似然估计,由于训练数据只有可见节点，对数似然函数为：

 N是样本数。

求p(v)可以由p(h,v)的边缘概率来计算:

对数似然梯度：

,其中，根据能量函数模型有：

故梯度的偏导数：

对求偏导：

前一项的v是样本的点，后一项的v是所有v的值。

前一项可以直接计算，后一项对所有v求均值（期望），是np问题，通过mcmc对p(v)采样近似计算。