自编码网络知识点（1）

1.受限玻尔兹曼机@TOC
RBM是实现深度学习的另一种神经网络结构。RBM的基本功能与AE类似，RBM同样也可以对数据进行编码，多层RBM也可以用于对神经网络进行初始化的预训练。
RBM是一种基于能量的神经网络模型，它具有深刻的统计物理背景。RBM训练的目标即为让RBM网络表示的概率分布与输入样本的分布尽可能地接近，这一训练同样是无监督式的。在实践中，常常用对比散度（CD）的方法来对网络进行训练，CD算法较好地解决了RBM学习效率的问题。在用CD算法开始进行训练时，所有可见神经元的初始状态被设置成某一个训练样本，将这些初始参数代入到激活函数中，可以算出所有隐藏层神经元的状态，进而用激活函数产生可见层的一个重构。通过比照重构结果和初始状态，RBM的各参数可以得以更新，从这一点来看，用CD算法对RBM进行训练与AE的训练是非常相似的。近年来，CD算法有许多改进，例如：持续性对比散度（PCD）和快速持续性对比散度（FPCD）等；而在训练RBM时，也可以利用非CD式的算法，例如比率匹配等。
2.自编码与RBM的区别
AE与RBM两种算法之间也有着重要的区别，这种区别的核心在于：AE希望通过非线性变换找到输入数据的特征表示，它是某种确定论性的模型；而RBM的训练则是围绕概率分布进行的，它通过输入数据的概率分布（能量函数）来提取高层表示，它是某种概率论性的模型。从结构的角度看，AE的编码器和解码器都可以是多层的神经网络，而通常我们所说的RBM只是一种两层的神经网络。在训练AE的过程中，当输出的结果可以完全重构输入数据时，损失函数 L 被最小化，而损失函数常常被定义为输出与输出之间的某种偏差（例如均方差等），它的偏导数便于直接计算，因此可以用传统的BP算法进行优化。RBM最显著的特点在于其用物理学中的能量概念重新描述了概率分布，它的学习算法基于最大似然，网络能量函数的偏导不能直接计算，而需要用统计的方法进行估计，因此需要用CD算法等来对 RBM 进行训练。
自编码网络的源地址