CS224n笔记：contextual word representation

最新推荐文章于 2023-06-07 09:02:31 发布
最新推荐文章于 2023-06-07 09:02:31 发布
阅读量355 收藏 1
点赞数
分类专栏： NLP论文研读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/elsieyin/article/details/107085305
版权
这篇博客探讨了contextual word representation，重点比较了ELMO、GPT和BERT模型。ELMO通过LSTM层获取上下文依赖的表示，Transformer是其基础单元。GPT利用单向Transformer进行无监督学习，而BERT则引入双向信息，预训练阶段包括词汇预测和句子关系判断，从而在NLP任务中表现出色。
摘要由CSDN通过智能技术生成

之前的Word Representation方法，Word2Vec, GloVe, fastText等对每个单词仅有一种表示，而通常单词的含义依赖其上下文会有所不同，而且每个单词不仅有一方面特征，而应有各方面特征如语义特征，语法特征等，这一讲集中讨论contextual word representation，主要比较了ELMO，GPT与BERT模型。

Elmo

L层forward LSTM每层会产生一个依赖于上文的表示 h → k , j L M \overrightarrow{\mathbf{h}}_{k, j}^{L M} h

最低0.47元/天 解锁文章
elsieyin
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【cs224n-11】Contextual Word Representations: BERT
u011613991的专栏
05-24 351
词嵌入是NLP深度学习的基础，以Word2Vec、Glove和FastText为代表的静态词向量为文本在神经网络中的表示提供了一种强有力的工具。然而这种静态的词嵌入存在的问题是，以上下文无关的方式应用，对每个单词仅有一种表示，而通常单词的含义依赖于其上下文会有所不同，而且每个单词不仅有一方面特征，而应有各方面特征如语义特征，语法特征等。解决的方式是，在文本语料库上训练上下文表示。 静态表示： 上下文动态表示： 上下文表示发展过程： 1.Semi-Supervised...
Contextual Word Representations and Pretraining
helloworld309的博客
07-03 2225
一、Word Representations 在2018年之前，我们使用的词向量表征技术主要有三个：Word2Vec、Glove、FastText。但是这三个方法都普遍存在在一些问题，就是无法解决一次多义的问题，即对于同一个词无论上下文的单词是否相同，训练出来的词向量都是一样的。 通常我们训练词向量的时候，首先会初始化所有的词向量，并且在训练过程中不断地改变这些向量的值，需要注意的是训练的目标是我们自己定义的任务，而词向量仅仅是副产物而已。 当我们手中的语料不足时训练出来的词向量效果不会很理想，这是用通常会
【2019斯坦福CS224N笔记】（13）Contextual Word Representations and Pretraining
abcgkj的博客
09-03 842
csdn：https://blog.csdn.net/abcgkj github：https://github.com/aimi-cn/AILearners 词向量的表示 目前为止，我们已经学过了one-hot编码、word2vec、glove等词向量的表示。但是这三个方法都普遍存在在一些问题，就是无法解决一词多义的问题。即对于同一个词无论上下文的单词是否相同，训练出来的词向量都是一样的。 当我...
NLP基础之——Contextual Word Representations and Pretraining
zhangxiaolinxin的博客
07-03 345
一、ELMO ELMO的基本思想是利用双向的LSTM结构，对于某个语言模型的目标，在大量文本上进行预训练，从LSTM layer中得到contextual embedding，其中较低层的LSTM代表了比较简单的语法信息，而上层的LSTM捕捉的是依赖于上下文的语义信息。ELMO的全称就是Embeddings from Language Models。对于下游的任务，再将这些不同层的向量线性组合，再做监督学习。 ELMo算法过程为： 先在大语料上以language model为目标训练出bidirectio
Contextual Word Embeddings
weixin_46783985的博客
07-03 405
EMLo 在EMLo中，他们使用的是一个双向的LSTM语言模型，由一个前向和一个后向语言模型构成，目标函数就是取这两个方向语言模型的最大似然。ELMo的整体图如下图，它使用了多层LSTM，且增加了后向语言模型（backward LM）。 对于多层lstm，每层的输出都是隐向量htht，在ELMo里，为了区分，前向lstm语言模型的第j层第k时刻的输出向量命名为hLMk,j−→−hk,jLM→。 对于后向语言模型，跟前向语言模型类似，除了它是给定后文来预测前文。我们设定后向lstm的第j层的第k时刻的输出向量
CS224n【所有reports】.zip
01-07
5. **上下文表示（Contextual Representations）**：`cs224n-2019-lecture13-contextual-representations.pdf`可能介绍词嵌入的进展，如ELMo、BERT和GPT，这些模型能根据单词的上下文生成不同的词向量。 6. **树形...
2019最新斯坦福CS224n课件（上）.zip
07-02
【CS224n深度自然语言处理课程】是由斯坦福大学提供的一门专注于深度学习在自然语言处理（NLP）领域的应用的高级课程。这门课程涵盖了从基础的词向量表示到复杂的序列到序列模型（Seq2Seq）以及自注意力机制等一系列...
uPerform:registered:上下文帮助「uPerform:registered: Contextual Help」-crx插件
03-20
通过上下文帮助最大化软件的采用 ANCILE的uPerform:registered:员工一旦完成培训，就会开始忘记他们学到的东西。通过uPerform直接在软件中提供的学习内容来增强他们的技能并提高熟练程度。我们的平台提高了200多种...
vertx-contextual-logging:Vertx应用程序的上下文日志记录
05-24
在使用`vertx-contextual-logging-master`这样的压缩包时，通常会包含源代码、示例应用、以及可能的文档，帮助开发者理解和集成这个日志模块。源代码可能会展示如何在 Vert.x 应用中初始化和使用上下文日志记录，...
Contextual.js:Javascript上下文菜单库
05-07
Contextual.js Javascript上下文菜单库-创建动态的右键单击或弹出菜单。 菜单 选项 isSticky 宽度 项目 菜单项 种类 子菜单 悬停菜单 分隔符 纽扣 自定义元素 多按钮（WIP） 选项 图标 cssIcon 标签 类型 onClick...
【NLP基础理论】10 上下文表示（Contextual Representation）
草鸟的博客
04-22 3864
NLP基础理论 10 上下文表示
Task 4: Contextual Word Embeddings （附代码）（Stanford CS224N NLP with Deep Learning Winter 2019）
南有芙蕖
07-01 789
Task 4: Contextual Word Embeddings 目录Task 4: Contextual Word Embeddings词向量的表示一、Peters et al. (2017): TagLM – “Pre-ELMo”二、Peters et al. (2018): ELMo: Embeddings from Language Models三、ULMfit四、Transformer1.Encoder2.Decoder3.Positional Encoding五、BERT六、补充知识点：GP
CS224N学习笔记（十三）Contextual Word Representations and Pretraining
rocking_struggling的博客
05-20 275
1. Representations for a word 之前的CS22N的课程介绍了词向量比如，Word2vec, GloVe, fastText。通过这些词向量能在神经网络的训练中起到一个很好的效果，如图所示： 这种常规的词向量有很多问题，比如unknown-words 针对训练词向量unknown-word，有一些解决方法： 使用 一个《UNK》表示全部的unknown单词 如果test时出现unknown单词，在你的无监督词向量出现过，使用那个词向量作为unknown的词向量。 对每一个unk
论文笔记《Knowledge Enhanced Contextual Word Representations》
BigPig_LittleTail的博客
02-26 3920
Motivition 作者的出发点有几个： 尽管BERT这种预训练模型取得了state-of-art的成绩。但是、因为他们没有包含真实世界的实体，所以导致这些模型也很难覆盖真实世界的知识。 没有实体没有知识怎么办呢？Knowledge bases、知识库有。 知识库不仅拥有丰富的高质量、人类产生的知识，而且他们包含与原始文本中互补的信息，还能够编码事实性的知识。所以用知识库可以解决因不频繁出现但...
word embedding和contextual embedding
zhuiyunzhugang的博客
10-11 848
embedding可以描述为Many models of source code are based on learned representation called embedding。 word embedding可以看作为word vector contextual embedding可以表述为it captures the context, since the hidden state...
《斯坦福CS224n NLP》 学习大纲&资料&笔记
夏普通
11-29 1743
每周具体学习时间划分为4个部分: 1部分安排周一到周二 2部分安排在周四到周五 3部分安排在周日 4部分作业是本周任何时候空余时间
How Contextual are Contextualized Word Representations in BERT、ELMO and GPT-2 Embeddings
Forlogenの解忧杂货铺
02-14 778
How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings office blog 在NLP的发展历程中，以Vorw2Vec、Glove和FastText为代表的静态词向量为文本在神经网络中的表示提供了一种强有力的工具，同时...
Lecture 11 Contextual Representation
最新发布
Abner98414的博客
06-07 499
我们学习了基于 ELMo 和 BERT 的单词上下文表示，以及它们在下游任务中的表现，并且也学习了如何将它们应用到下游任务中。这些模型都是在非常大的语料库上训练的。因此，它们构建了一些语言相关的知识。使用无监督目标，模型训练无需专门提供带标签数据集。由于模型是在非常大的语料库上训练的，因此，当我们将它们用于下游任务时，我们不再是从零开始（“scratch”）的状态，因为模型在某种程度上已经理解了一些单词含义相关的信息，以及单词之间的关系。
相辅相成的知识图谱与预训练语言模型
zenRRan的博客
04-13 1969
每天给你送来NLP技术干货！来自：复旦DISC作者：石霭青引言随着预训练技术与硬件的不断发展，预训练语言模型已经成为自然语言处理领域较为成熟且不可或缺的一环，但由于预训练模型架构本身往往不具备获取常识、实体知识的能力，在一些基于知识的任务（例如涉及逻辑推理或认知）上力有不逮。而知识图谱提供了对知识的显式建模，因此可以提供丰富的结构化知识和常识来帮助语言理解、强化语言模型的...
NCAD：深度学习驱动的时间序列异常检测框架
NCAD（Neural Contextual Anomaly Detection）是一种创新的时间序列异常检测框架，它融合了深度学习技术和多元时间序列表示学习，旨在从无监督到有监督的学习过程中提供无缝的迁移能力。该方法特别适用于单变量和多...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值