自然语言处理之循环神经网络（五）

1. 时序模型

1.1 时序模型的特点

• 针对对象：序列数据。例如文本，是字母和词汇的序列；语音，是音节的序列；视频，是图像的序列；气象观测数据，股票交易数据等等，也都是序列数据。
• 核心思想：样本间存在顺序关系，每个样本和它之前的样本存在关联。通过神经网络在时序上的展开，我们能够找到样本之间的序列相关性。

1.2 时序模型的网络结构**

• 时序模型的结构如图所示
  

2 RNN概述

2.1 RNN的发展历程

• 早期：在20世纪八九十年代，RNN的核心思想是重新使用参数和计算。
• 中期：除了LSTM外，RNN基本从主流研究中消失了。
• 当前：应用广泛，自然语言处理、视频建模、手写识别和用户意图预测。
  

2.2 RNN基本框架

2.3 RNN典型应用

3 RNN的网络结构

3.1 RNN的网络结构

• 循环神经网络可以对自然语言句子或是其他时序信号进行建模，RNN网络结构如图所示。
  

3.2 RNN文本分类

循环神经网络开始从左到右阅读这个句子，在未经过任何阅读之前，循环神经网络中的记忆向量是空白的。其处理逻辑如下：

• 网络阅读单词“我”，并把单词“我”的向量表示和空白记忆相融合，输出一个向量h1用于表示“空白+我”的语义。
• 网络开始阅读单词“爱”，这时循环神经网络内部存在“空白+我”的记忆。循环神经网络会将“空白+我”和“爱”的向量表示相融合，并输出“空白+我+爱”的向量表示h2用于表示“我爱”这个短语的语义信息。
• 网络开始阅读单词“人工”，同样经过融合之后，输出“空白+我+爱+人工”的向量表示h3，用于表示“空白+我+爱+人工”语义信息。
  最终在网络阅读了“智能”单词后，便可以输出“我爱人工智能”这一句子的整体语义信息。