深度学习入门课笔记（三）

目录

一、序列数据

二、语言模型

三、RNN

基本结构

 RNN的通过（穿越）时间反向传播

四、门控循环单元

引入门的循环网络（GRU）

五、长短期记忆网络LSTM

---

一、序列数据

序列数据是常见的数据类型，前后数据具有关联性，比如我们说出的一句话，词与词之间互相有影响。

举个例子：语音识别、机器翻译、视频的行为识别等

二、语言模型

语言模型是自然语言处理（NLP）的重要技术。在NLP中常把文本看成离散时间序列，一段长度为T的文本的词依次为W1,W2,....,,其中是时间步t的输出或标签，而语言模型就是来计算该序列概率P(W1,W2,....,)

语言模型计算序列概率计算公式：

                          

举个例子：P（我，在，听，课）=P（我）*P（在|我）P（听|我，在）*P（课|我，在，听）

统计语料库中的词频，得到以上的概率，得到以上的概率

有个缺点就是时间步的词需要考虑t-1步的词，计算量随t指数增长

三、RNN

基本结构

RNN是针对序列数据而生的神经网络结构，核心在于循环使用网络层参数，避免时间步增大带来的参数激增，并引入隐藏状态用于记录历史信息，有效处理数据的前后关联性。

激活函数采用Tanh，将输出值域限制在（-1,1），防止数值呈指数级变化

下图是将感知机（左）与RNN（右）的结构进行了对比