神经网络分类

按发展顺序

第一代：感知机；第二代Hopfield；第三代：深度神经网络。

按是否存在反馈

前馈网络BP

如CNN，多用在图像处理中。

递归网络RNN

具有时间特性的网络，多用在语音识别、自然语言处理等情景。RNN较BP网络难训练的原因在于它的梯度不稳定的情况更加严重，它的梯度不是随层传播，而是随时间传播。LSTM在一定程度上缓解了该问题。

DBN，生成模型，RBM

这类生成模型具有“生成”的特性，用于非监督和半监督学习中，现在虽然没有BP，RNN模型的流行度高，但可能在以后有更加广泛的应用。