1. 时序模型
1.1 时序模型的特点
- 针对对象:序列数据。例如文本,是字母和词汇的序列;语音,是音节的序列;视频,是图像的序列;气象观测数据,股票交易数据等等,也都是序列数据。
- 核心思想:样本间存在顺序关系,每个样本和它之前的样本存在关联。通过神经网络在时序上的展开,我们能够找到样本之间的序列相关性。
1.2 时序模型的网络结构**
- 时序模型的结构如图所示
2 RNN概述
2.1 RNN的发展历程
- 早期:在20世纪八九十年代,RNN的核心思想是重新使用参数和计算。
- 中期:除了LSTM外,RNN基本从主流研究中消失了。
- 当前:应用广泛,自然语言处理、视频建模、手写识别和用户意图预测。
2.2 RNN基本框架
2.3 RNN典型应用
3 RNN的网络结构
3.1 RNN的网络结构
- 循环神经网络可以对自然语言句子或是其他时序信号进行建模,RNN网络结构如图所示。
3.2 RNN文本分类
循环神经网络开始从左到右阅读这个句子,在未经过任何阅读之前,循环神经网络中的记忆向量是空白的。其处理逻辑如下:
- 网络阅读单词“我”,并把单词“我”的向量表示和空白记忆相融合,输出一个向量h1用于表示“空白+我”的语义。
- 网络开始阅读单词“爱”,这时循环神经网络内部存在“空白+我”的记忆。循环神经网络会将“空白+我”和“爱”的向量表示相融合,并输出“空白+我+爱”的向量表示h2用于表示“我爱”这个短语的语义信息。
- 网络开始阅读单词“人工”,同样经过融合之后,输出“空白+我+爱+人工”的向量表示h3,用于表示“空白+我+爱+人工”语义信息。
最终在网络阅读了“智能”单词后,便可以输出“我爱人工智能”这一句子的整体语义信息。