李沐54_循环神经网络RNN——自学笔记

潜变量自回归模型

使用潜变量ht总结过去信息。

困惑度perplexity

1.衡量一个语言模型的好坏可以用平均交叉熵

2.历史原因NLP使用困惑度exp(Π)来衡量，是平均每次可能选项

3.无穷大是最差，1是完美

梯度裁剪

1.迭代中计算这T个时间步的梯度，在反向传播过程中产生长度为O(T)的矩阵乘法链，导致数值不稳定

2.梯度裁剪可以有效预防梯度爆炸。如果梯度长度超过θ，那么拖影回长度θ

总结

1.循环神经网络的输出取决于当下输入和前一时间的隐变量

2.应用到语言模型中时，循环神经网络根据当前词预测下一次时刻词

3.通常使用困惑度来衡量语言模型的好坏