神经网络笔记（一）

 

前馈网络
之前我们已经学过了许多的前馈网络。所谓前馈网络, 就是网络中不会保存状态。然而有时这并不是我们想要的效果。在自然语言处理 (NLP, Natural Language Processing) 中, 序列模型是一个核心
的概念。
 

序列模型
所谓序列模型, 即输入依赖于时间信息的模型。一个典型的序列模型是隐马尔科夫模型 (HMM,Hidden Markov Model)。另一个序列模型的例 子是条件随机场 (CRF, Conditional Random Field)。
 

循环神经网络
循环神经网络是指可以保存某种状态的神经网络。比如说, 神经网络中上个时刻的输出可以作为下个 时刻的输入的一部分, 以此信息就可以 通过序列在网络中一直往后传递。对于LSTM (LongShort Term Memory) 来说, 序列中的每个元素都有一个相应的隐状态 , 该隐状态原则上可以包含序列当前结点之前的任一节点的信息。我们可以使用隐藏状态来预测语言模型中的单词, 词性标签以及其他。