浅谈深度信念网络(Deep Belief Network)
一、受限玻尔兹曼机(Restricted Boltzmann Machines )
- RBM简介
如图所示,一个受限玻尔兹曼机由两层网络组成,分别为可见层(Visible layer)和隐藏层(Hidden layer)。其中,输入特征与可见层关联,特征检测器与隐藏层关联。两层之间为全连接,而层内无连接。
考虑一个二维向量的训练集,出于目的的考虑,我们假设它是二维图片。训练集能被用到只有两层神经网络的受限玻尔兹曼机模型(Smolensky, 1986; Freund and Haussler, 1992; Hinton, 2002),在模型中,二维像素是随机的,二维特征检测器则对称加权连接。像素对应受限玻尔兹曼机的可见节点,因为它是可以被观测到的;特征检测器对应隐藏节点。
定义可见单元(v)和隐藏单元(h)的一个联合能量为:
E ( v , h ) = − ∑ i ∈ v i s i b l e a i v i − ∑ j ∈ h i d d e n b j h j − ∑ i , j v i h j w i j E(v,h)=-\sum_{i\in visible}a_iv_i-\sum_{j\in hidden}b_jh_j-\sum_{i,j}v_ih_jw_{ij} E(v,h)=−i∈visible∑aivi−j∈hidden∑bjhj−i,j∑vihjwij
其中, v i , h j v_i,h_j vi,h