（2019）CS224N Lecture 6 Language Models and RNNs 笔记 (2)

最新推荐文章于 2021-12-01 17:14:06 发布
最新推荐文章于 2021-12-01 17:14:06 发布
阅读量90 收藏
点赞数
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33599188/article/details/89164783
版权

自用，都是ppt截图

训练一个RNN语言模型

预测的结果和真实的结果，损失函数为交叉熵
在这里插入图片描述
对每一步的交叉熵损失取平均，得到整体损失
在这里插入图片描述
在这里插入图片描述
但是计算每个单词的损失，计算量很大，提到了随机梯度下降
没学过听不懂之后再补吧qwq

RNN反向传播

推导，chain rule
在这里插入图片描述
反向求导，梯度求和
在这里插入图片描述
用RNN生成文本~
在这里插入图片描述

评估语言模型

对语料库概率取倒数，T单词数量，1/T进行标准化，不这样做的话，随着语料库的增加，perplexity会越来越小
对perplexity取log再取e,发现了exp(交叉熵),这样一来，在训练语言模型，使交叉熵损失最小化的同时，也使perplexity更小。
而perplexity越小越好，因为它是语料库概率的倒数，我们希望语言模型使这个概率更大，也就是perplexity更小
在这里插入图片描述

为什么关注语言建模

1.语言建模是基准测试任务，帮助我们衡量在语言理解上的发展
2.是很多NLP任务的一部分，尤其涉及到生成文本和估计文本概率的
在这里插入图片描述

简要回顾

RNN不是语言模型，我们用RNN来构建语言模型
在这里插入图片描述

用RNN来做句子分类

可以选择最后一个隐藏状态作为sentence encoding,最后一个隐藏状态在RNN中用来预测下一个单词，设定它包含了之前文本的所有信息
而通常情况下更好更有效的方法是取所有隐藏状态的最大值或均值
在这里插入图片描述
在这里插入图片描述
还有其他的应用就不写在这里了，接下来的任务是了解一下双向LSTM然后学习下一课~

青溪照月
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TSNE()参数解释+使用方法+莫烦tensorflow CNN/TSNE可视化
小哈的博客
05-25 3万+
TSNE即t-distributed Stochastic Neighbor Embedding.使用方法：tsne = TSNE(perplexity=30, n_components=2, init='pca', n_iter=5000); plot_only = 500 #只画前500个点            #对中间层输出进行tsne降维            low_dim_embs ...
(python )LDA perplexity计算
qklwdd6的博客
04-29 2951
前期训练数据使用的工具包是LDA， [ 文档传送 ] 如果需要Java版本，可以参考下面链接，本文也是基于此文改写为python，不得不说，python还是要简洁的多哈哈 https://blog.csdn.net/dongweionly/article/details/50286961 代码 ''' dw是文档-词矩阵，dt是经过LDA训练后的文档-主题矩阵，tw是经过LDA训练后...
（2019）CS224N Lecture 6 Language Models and RNNs 笔记 (1)
Smile,
08-05 125
Language Models 给定前t个单词预测下一个单词的可能性 给定文本包含T个单词，可以说这个文本的概率如下 n-gram Language Models 通过计数得到n-gram的概率和（n-1）-gram的概率 稀疏问题 the sparsity problem ...
主题模型TopicModel：LDA主题模型的评估
热门推荐
皮皮blog
01-06 3万+
LDA主题模型好坏的评估，判断改进的参数或者算法的建模能力。 Blei先生在论文《Latent Dirichlet Allocation》实验中用的是Perplexity值作为评判标准。 一、Perplexity定义 http://en.wikipedia.org/wiki/Perplexity perplexity是一种信息理论的测量方法，b的perplexity值定义为基于b的
利用N-Gram模型概括数据（Python描述）
MrLevo520的博客
08-08 1万+
decode的作用是将其他编码的字符串转换成unicode编码， 如str1.decode(‘gb2312’)，表示将gb2312编码的字符串转换成unicode编码。 encode的作用是将unicode编码转换成其他编码的字符串， 如str2.encode(‘gb2312’)，表示将unicode编码的字符串转换成gb2312编码。 import string list =
cs224笔记：Lecture 6 Language Models and RNNs
weixin_37616971的博客
09-25 181
Language Models and RNNs 1 Language Model Language Model is the task of predicting what word comes next. 更正式的：给定一个单词序列，x(1),x(2),...,x(t)\mathbf{x^{(1)}},\mathbf{x^{(2)}},...,\mathbf{x^{(t)}}x(1),x(2)...
【CS224n】(lecture5)Language Models and RNN
发现问题，并解决问题，批判性思维
12-01 1254
（1）语言模型： 预测下⼀个单词 的系统 （2）递归神经网络：⼀系列神经网络 - 采用任意长度的顺序输入 - 在每一步上应用相同的权重 - 可以选择在每一步上生成输出 （3）递归神经网络 ≠ 语言模型。RNNs构建LM。
cs224n-2019-lecture01课件.pdf
08-23
CS224N是斯坦福大学的一门课程，专注于自然语言处理（NLP）与深度学习的结合。这门课程由Christopher Manning教授主讲，并有Abigail See作为首席助教和共同讲师，以及一系列优秀的助教团队。课程的时间安排在每周二...
斯坦福CS224 NLP课程-课件lecture02/cs224n-2017-lecture2
03-03
斯坦福CS224 NLP课程-课件lecture02 深度学习与NLP专栏地址：https://blog.csdn.net/qq_34243930/column/info/31958
斯坦福自然语言处理CS224n课件
11-25
在斯坦福大学的CS224n课程中，学生们会深入学习NLP的核心理论和技术，包括词法分析、句法分析、语义解析、情感分析、机器翻译以及对话系统等。 【CS224n课程】 斯坦福大学的CS224n是专门针对自然语言处理的研究生...
斯坦福CS224 NLP课程-课件lecture03/cs224n-2017-lecture3
03-07
斯坦福CS224 NLP课程-课件lecture02 深度学习与NLP专栏地址：https://blog.csdn.net/qq_34243930/column/info/31958
斯坦福CS224 NLP课程-课件lecture01/cs224n-2017-lecture1
03-01
斯坦福CS224 NLP课程-课件lecture01 深度学习与NLP专栏地址：https://blog.csdn.net/qq_34243930/column/info/31958 深度学习与NLP绪论视频课： https://m.weike.fm/lecture/10194068 笔记：...
胖东来企业文化指导手册.pptx
08-07
胖东来企业文化指导手册.pptx
[毕业设计]基于PHP与MySQL的学生成绩查看系统.zip
08-07
[毕业设计]基于PHP与MySQL的学生成绩查看系统
[毕业设计]PHP教育网站课程管理模块设计(源代码+论文).zip
08-07
[毕业设计]PHP教育网站课程管理模块设计(源代码+论文)
CSS技巧专栏一日一例：20 -纯CSS实现点击时会凹陷下去的按钮特效.zip
最新发布
08-07
CSS技巧专栏一日一例：20 -纯CSS实现点击时会凹陷下去的按钮特效.zip --------------------------------------------------------------------------------------------------------- 需要看看效果的，可以移步到我的专栏去看看。文章名与资源名一致。 资源特点：代码短小、代码容易阅读、重点注释、方便扩展、样式美观、纯CSS实现。 适用人群：前端从业职，新手小白，有网站开发能力对美工有所欠缺的后端工程师。
[毕业设计]PHP开发的学生成绩在线查询系统.zip
08-07
[毕业设计]PHP开发的学生成绩在线查询系统
springboot548大学生社团活动平台.zip
08-07
以Java为开发技术，实现了一个大学生社团活动平台。大学生社团活动平台的主要实现功能包括：管理员：首页、个人中心、学生管理、社团申请信息管理、校园社团管理、社团活动管理、会员管理、活动参与管理、会员申请管理、系统管理，会员；首页、个人中心、社团申请信息管理、校园社团管理、社团活动管理、活动参与管理，学生；首页、个人中心、校园社团管理、社团活动管理、会员申请管理，前台首页；首页、社团申请信息、校园社团、社团活动、活动参与、会员申请、校园资讯、个人中心、后台管理、在线资讯功能，基本上实现了整个大学生社团活动平台的过程。 具体在系统设计上，采用了B/S的结构，同时，也使用Java技术在动态页面上进行了设计，后台上采用Mysql数据库，是一个非常优秀的大学生社团活动平台。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值