- 博客(3)
- 收藏
- 关注
RSS订阅原创 （2019）CS224N Lecture 6 Language Models and RNNs 笔记 (2)
自用，都是ppt截图 训练一个RNN语言模型 预测的结果和真实的结果，损失函数为交叉熵 对每一步的交叉熵损失取平均，得到整体损失 但是计算每个单词的损失，计算量很大，提到了随机梯度下降 RNN反向传播 推导，chain rule 反向求导，梯度求和 用RNN生成文本~ 评估语言模型 对语料库概率取倒数，T单词数量，1/T进行标准化，不这样做的话，随着语料库的增加，perplexity...
2020-08-05 22:08:00
90
原创 （2019）CS224N Lecture 6 Language Models and RNNs 笔记 (1)
Language Models 给定前t个单词预测下一个单词的可能性 给定文本包含T个单词，可以说这个文本的概率如下 n-gram Language Models 通过计数得到n-gram的概率和（n-1）-gram的概率 稀疏问题 the sparsity problem ...
2020-08-05 22:06:31
125
原创 （2019）CS224N Lecture 7 Vanishing Gradients, Fancy RNNs 笔记 (1)
基本上是ppt截图，自用。
2020-08-05 22:06:04
221
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人