文章目录 1. 前向知识1. 潜变量自回归模型 2. 循环神经网络1. RNN2. 使用RNN的语言模型 3. 更多应用RNNs小结 1. 前向知识 1. 潜变量自回归模型 2. 循环神经网络 1. RNN xt 即作为 t + 1 时刻的输入又作为 t 时刻的对比标签。 含隐变量的RNN 困惑度 一个更好的语言模型应该能让我们更准确地预测下一个词元。 梯度裁剪 预防梯度爆炸。 2. 使用RNN的语言模型 当前时刻的输出预测当前时刻的输入,输出发生在观察之前。 3. 更多应用RNNs 小结