NLP
青溪照月
这个作者很懒,什么都没留下…
展开
-
(2019)CS224N Lecture 7 Vanishing Gradients, Fancy RNNs 笔记 (1)
基本上是ppt截图,自用。原创 2020-08-05 22:06:04 · 222 阅读 · 0 评论 -
(2019)CS224N Lecture 6 Language Models and RNNs 笔记 (1)
Language Models 给定前t个单词预测下一个单词的可能性 给定文本包含T个单词,可以说这个文本的概率如下 n-gram Language Models 通过计数得到n-gram的概率和(n-1)-gram的概率 稀疏问题 the sparsity problem ...原创 2020-08-05 22:06:31 · 129 阅读 · 0 评论 -
(2019)CS224N Lecture 6 Language Models and RNNs 笔记 (2)
自用,都是ppt截图 训练一个RNN语言模型 预测的结果和真实的结果,损失函数为交叉熵 对每一步的交叉熵损失取平均,得到整体损失 但是计算每个单词的损失,计算量很大,提到了随机梯度下降 RNN反向传播 推导,chain rule 反向求导,梯度求和 用RNN生成文本~ 评估语言模型 对语料库概率取倒数,T单词数量,1/T进行标准化,不这样做的话,随着语料库的增加,perplexity...原创 2020-08-05 22:08:00 · 112 阅读 · 0 评论