14循环神经网络—RNN

1.循环神经网络（RNN）

• recurrent neural networks，RNNs
• 对于序列模型的神经网络

回顾

潜变量自回归模型

使用潜变量 ht 总结过去的信息

• n 元语法模型中，单词 xt 在时间步 t 的条件概率仅取决于前面 n-1 个单词
• xt 是和 ht 与 x(t-1) 相关的
• t 时刻的潜变量 ht 是和 h(t-1) 和 x(t-1) 相关的

隐藏层和隐状态的区别：

• 隐藏层是在从输入到输出的路径上（以观测角度来理解）的隐藏的层
• 隐状态是在给定步骤所做的任何事情（以技术角度来定义）的输入，并且这些状态只能通过先前时间步的数据来计算

循环神经网络是具有隐状态的神经网络

假设有一个观察 x 和一个隐变量 ht ，根据ht就能够生成输出 ot

• t 时刻的输出 ot 是根据 ht 输出的，ht 使用的是 x(t-1) 中的内容
• 在计算损失的时候，是比较 ot 和 xt 之间的损失
• xt 是用来更新 ht 使得观察 xt 向后移动
<