[转]教你看懂各种神经网络

原图如下：

虽然这些节点图不能显示各个模型的内部工作过程，但是这些节点图的汇总可以让我们在同一层面上对比不同神经网络的结构特点，从而对不同神经网络之间的关系有一个更为具象的理解。

感知器（Perceptrons）和前馈神经网络（Feed Forward Neural Networks）

单层感知器是最简单的神经网络。它仅包含输入层和输出层，而输入层和输出层是直接相连的。

相对于单层感知器，前馈神经网络包含输入层、隐藏层和输出层。这一类网络通常使用反向传播算法（Backpropagation）进行训练，由于网络具有隐藏神经元，理论上可以对输入和输出之间的关系进行建模。但实际上该网络的应用是很有限的，通常要将它们与其他网络结合形成新的网络。

径向基函数网络（Radial Basis Function，RBF）

径向基函数（RBF）网络是以径向基函数作为激活函数的前馈神经网络。径向基函数网络通常只有三层，输入层、中间层和输出层。中间层计算输入矢量与样本矢量欧式距离的径向基函数值，输出层计算它们的线性组合。

径向基函数网络的基本思想是：用径向基函数作为隐单元的“基”构成隐含层空间，将低维空间的输入通过非线性函数映射到一个高维空间，而低维空间不可分的数据到了高维空间更有可能变得可分。

Hopfield神经网络（Hopfield Network，HN）

1982年，J.Hopfield提出了可用作联想存储器的互连网络，这个网络被称为Hopfield网络模型。Hopfield神经网络是一种循环神经网络，从输出到输入有反馈连接。反馈神经网络由于其输出端又反馈到其输入端，所以Hopfield网络在输入的激励下，会产生不断的状态变化。

网络的每个节点在训练前接受输入，然后在训练期间隐藏并输出。可以通过将神经元的值设置为期望的模式来训练网络，此后权重不变。一旦训练了一个或多个模式，网络将收敛到一个学习模式，因为网络在这个状态中是稳定的。

波尔兹曼机（Boltzmann Machines，BM）

波尔兹曼机是一种随机神经网络。在这种网络中神经元只有两种输出状态，即二进制的０或１。状态的取值根据概率统计法则决定，由于这种概率统计法则的表达形式与著名统计力学家L.Boltzmann提出的玻尔兹曼分布类似，故将这种网络取名玻尔兹曼机。

波尔兹曼机（BM）很像Hopfield神经网络，区别在于，它只有一些神经元被标记为输入神经元，而其他神经元保持“隐藏”。输入神经元在完整的网络更新结束时成为输出神经元。它从随机权重开始，通过反向传播（Backpropagation）学习或通过对比散度（Contrastive Divergence）算法训练模型。

受限玻尔兹曼机（Restricted Boltzmann Machines，RBM）