CS224N学习笔记（十三）Contextual Word Representations and Pretraining

最新推荐文章于 2022-12-27 14:43:47 发布
最新推荐文章于 2022-12-27 14:43:47 发布
阅读量299 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rocking_struggling/article/details/106207003
版权

1. Representations for a word

之前的CS22N的课程介绍了词向量比如，Word2vec, GloVe, fastText。通过这些词向量能在神经网络的训练中起到一个很好的效果，如图所示：
在这里插入图片描述
这种常规的词向量有很多问题，比如unknown-words
针对训练词向量unknown-word，有一些解决方法：

  • 使用 一个《UNK》表示全部的unknown单词
  • 如果test时出现unknown单词，在你的无监督词向量出现过，使用那个词向量作为unknown的词向量。
  • 对每一个unknown使用随机的词向量表示

此外，还有一些问题，比如词向量唯一表示单词而不考虑单词在文章中出现的位置，比如一个词在不同的句子中有不同的含义等。
针对这些问题，有人想到单词的词向量表示应该结合单词所在的句子进行考虑。但是标准的Rnn训练只在 task-labeled 的小数据上，后来有人想能不能用词向量的编码，比如lstm的编码来表示单词，并且在大型的无标签的数据上进行训练，于是就产生了Contextual Word Representations。如图：
在这里插入图片描述

2.TagLM—‘pre-ELmo’

tagLM模型采用的就是上面说的这种方法，直接用一个RNN语言模型编码后的隐藏层作为一种特殊的词嵌入向量，如图所示：
在这里插入图片描述

  1. step1:训练词向量嵌入和语言模型
  2. 对于输入序列的每一个token将word_embedding和LM_embedding将其结合为新embedding
  3. 将新的ebedding输入到任务模型中去，输出得到结果

详细的过程如图所示：
在这里插入图片描述
课程提到了这个模型的一些细节：
在进行任务的训练的时候，产生LM_embedding的网络是冻结的，只是之前经过pre-train。在很大的数据集上预训练一个较大的双向LM有助于显著提高效果。

3.ELMo:Embeddings from Language Models

ELMo模型和前面的模型相比有如下特点：
4. 训练一个双向的LM
5. 使用了2层的bilstm网络
6. 使用字符级CNN去建立初始词向量
7. 使用4096维度的lstm隐藏层但使用了feed-forward层转为512维传向下一个输入
8. ……
具体如图所示：
在这里插入图片描述
ELMo模型一个比较重要的特点是，它不仅使用了LSTM最上面的一层隐藏层，也使用其他隐藏层，对所有的隐藏层做一个权重的求和，得到ebeding的结果，公式如图所示：
在这里插入图片描述
在这里插入图片描述

使用ELMo完成task

  1. 首先，预训练biLM模型得到单词的 representations
  2. 冻结上一步得到的biLM的参数
  3. 将得到的ELMo权重应用于特定的任务

如图：
在这里插入图片描述
课程给出了将ELMo模型应与sequence tagger任务，如图所示：
在这里插入图片描述
ELMo模型在NLP的很多应用都取得很好的效果，对普通的baseline模型，应用了ELMo后，都取得了一定水平的提升，如图所示：
在这里插入图片描述
ELMo的biLSTM NLM层各有特点，也适合不同的NLP任务：
一般来说，低层的权重更适合低层次的语法任务，比如Part-of-speech tagging, syntactic dependencies, NER等；高层的权重更适合层次更好的语义任务，比如Sentiment, Semantic role labeling, question answering, SN等。

ULMfit

课程介绍了和ELMo同时期ULMfit模型，这个模型同样较好的展示了迁移学习的思想，如图所示：
在这里插入图片描述
对于模型的处理，UML采用了如下三步：

  1. 首先，在一个非常大的数据集（和任务数据集不相关）上训练一个LM模型。
  2. 接着，使用任务相关的数据集，对模型进行fine-tune（进行训练，在前一个模型的基础上对参数进行微调）
  3. 使用classifier任务继续fine-tune

如图所示：
在这里插入图片描述
ULMfit取得的效果也非常的明显，如图：
在这里插入图片描述
这中迁移学习的方法在NLP中开了一个头，从此网络越来越复杂，训练的规模也越来越大。
在这里插入图片描述
很多都用的transformer结构，课程接下介绍了这个。

4.Transformers

人们希望可以找到一种并行处理自然语言模型，以加快训练的速度和规模，传统的RNN只能是序列的，并且RNN很依赖与attention结构。人们想到能否将attention模型提取出来，然后进行并行的计算，于是与发明了transforms模型。

Transformer Overview

transformer的总的结构如图所示，具有如下特点：
在这里插入图片描述

  • 使用非循环结构的encoder-decoder模型
  • 可以进行并行的机器翻译的计算
  • 预测每一个翻译的word
  • 代价函数是标准的softmax输出下的交叉熵代价函数

Transformer Basics

首先是transfromer中的dot-product attention，结构和主要公式如图所示：
在这里插入图片描述
在这里插入图片描述
课程这里说的非常的简略，这篇博客讲的比较容易理解：self attention机制的理解

Complete transformer block

一个transformer block的结构如图所示：
在这里插入图片描述
从输入到上此次是sef-attention层，Residual (short-circuit)和LayerNorm层，Feed Forward层，Residual (short-circuit)和LayerNorm层，其中layNorm和batchnorm类似，也是对输入数据做一个均值和方差的改变。
在这里插入图片描述

Encoder Input

transformer对word的输出采用的sub-word级的byte-pair encodings（前几节课讲过），除此以外，transformers还对word在文本中的位置信息也进行了编码输入到了transformers中，如图所示：
在这里插入图片描述

Complete Encoder

将前面提到的block重复六次输入，然后再输入词向量前加入位置编码，得到的就是完成的transformer的encode的部分，如图所示：
在这里插入图片描述

Transformer Decoder

这一部分这节课成跳过了，放到下一节课讲。

5.BERT

全称：Bidirectional Encoder Representations from Transformers，它采用双向的transformer结构，进行Encoder Representations。
语言模型通常是单向的，通常由左到右或者从右到左进行，但是语言的理解通常是一个双向的过程。所以需要建立一个双向的网络，但是通常的双向编码是会造成Words “see themselves”，如图所示：
在这里插入图片描述
这样会造成上层进行编码的效果不是很好，针对这个问题，BERT在预训练时，对数据进行mask操作，如图所示：
在这里插入图片描述
通常取mask得比率为15%，预训练时就训练LM预测这些单词。

BERT和ELMo和GPT

三种结构如图所示：
在这里插入图片描述
ELMo:采用的是双向的lstm，GPT，采用的是单向的transformer，BERT采用的是双向的transformer。

BERT complication: Next sentence prediction

BERT为了在预训练是更好的获得句子间的关系，不仅仅进行mask词汇的预测，还预测句子，预测一句子是否会紧挨着另外一个句子出现，如图所示：
在这里插入图片描述

sentence pair encoding

BERT提供了多种encoding的方式，如图所示：
在这里插入图片描述

BERT model architecture and training

bert在训练上具有如下特点：
在这里插入图片描述
Bert只学习一个建立在顶层的分类器，微调每个任务，如图所示：
在这里插入图片描述
关于这些内容都讲的比较的简略，下节课会讲的比较详细

阿委困的不能行
关注
Contextual Word Representations and Pretraining
helloworld309的博客
07-03 2234
一、Word Representations 在2018年之前，我们使用的词向量表征技术主要有三个：Word2Vec、Glove、FastText。但是这三个方法都普遍存在在一些问题，就是无法解决一次多义的问题，即对于同一个词无论上下文的单词是否相同，训练出来的词向量都是一样的。 通常我们训练词向量的时候，首先会初始化所有的词向量，并且在训练过程中不断地改变这些向量的值，需要注意的是训练的目标是我们自己定义的任务，而词向量仅仅是副产物而已。 当我们手中的语料不足时训练出来的词向量效果不会很理想，这是用通常会
【cs224n-11】Contextual Word Representations: BERT
u011613991的专栏
05-24 382
词嵌入是NLP深度学习的基础，以Word2Vec、Glove和FastText为代表的静态词向量为文本在神经网络中的表示提供了一种强有力的工具。然而这种静态的词嵌入存在的问题是，以上下文无关的方式应用，对每个单词仅有一种表示，而通常单词的含义依赖于其上下文会有所不同，而且每个单词不仅有一方面特征，而应有各方面特征如语义特征，语法特征等。解决的方式是，在文本语料库上训练上下文表示。 静态表示： 上下文动态表示： 上下文表示发展过程： 1.Semi-Supervised...
【2019斯坦福CS224N笔记】（13）Contextual Word Representations and Pretraining
abcgkj的博客
09-03 885
csdn：https://blog.csdn.net/abcgkj github：https://github.com/aimi-cn/AILearners 词向量的表示 目前为止，我们已经学过了one-hot编码、word2vec、glove等词向量的表示。但是这三个方法都普遍存在在一些问题，就是无法解决一词多义的问题。即对于同一个词无论上下文的单词是否相同，训练出来的词向量都是一样的。 当我...
NLP基础之——Contextual Word Representations and Pretraining
zhangxiaolinxin的博客
07-03 351
一、ELMO ELMO的基本思想是利用双向的LSTM结构，对于某个语言模型的目标，在大量文本上进行预训练，从LSTM layer中得到contextual embedding，其中较低层的LSTM代表了比较简单的语法信息，而上层的LSTM捕捉的是依赖于上下文的语义信息。ELMO的全称就是Embeddings from Language Models。对于下游的任务，再将这些不同层的向量线性组合，再做监督学习。 ELMo算法过程为： 先在大语料上以language model为目标训练出bidirectio
自然语言处理 cs224n 2019 Lecture 13: Contextual Word Representations and Pretraining
qq_33908388的博客
07-22 328
上下文词表示和预训练 主要内容 词表示上的映射 Pre-ELMo 和 ELMO ULMfit 和onward Transformer架构 bert 一、词表示上的映射 现在为止，我们基本上可以说我们有一个词向量的表示了：word2vec，glove，fastText 预训练词向量： 模型使用了预训练词向量之后，得分得到了提升： 预训练词向量 可以开始的时候给单词一个随机...
cs224n学习4： Contextual Word Representations and Pretraining
Rock_y的博客
07-03 315
Contextual Word Representations and PretrainingBERT原理详解BERT的预训练过程输入微调 BERT原理详解 从创新的角度来看,bert实并没有过多的构方面的创新点,其和GPT一样均是采用的 transformer的结构,相对于GPT来说,其是双向结构的,而GPT是单向的,如下图所示 elmo: 将上下文当作特征，但是无督的语料和我们真实的语料还是有区别的，不一定的符合我们特定的任务,是一种双向的特征提取。 openai gpt：就做了个改进,也是通过 t
论文笔记《Knowledge Enhanced Contextual Word Representations》
BigPig_LittleTail的博客
02-26 3963
Motivition 作者的出发点有几个： 尽管BERT这种预训练模型取得了state-of-art的成绩。但是、因为他们没有包含真实世界的实体，所以导致这些模型也很难覆盖真实世界的知识。 没有实体没有知识怎么办呢？Knowledge bases、知识库有。 知识库不仅拥有丰富的高质量、人类产生的知识，而且他们包含与原始文本中互补的信息，还能够编码事实性的知识。所以用知识库可以解决因不频繁出现但...
CS224n笔记：contextual word representation
elsieyin的博客
07-02 358
之前的Word Representation方法，Word2Vec, GloVe, fastText等对每个单词仅有一种表示，而通常单词的含义依赖其上下文会有所不同，而且每个单词不仅有一方面特征，而应有各方面特征如语义特征，语法特征等，这一讲集中讨论contextual word representation，主要比较了ELMO，GPT与BERT模型。 Elmo L层forward LSTM每层会产生一个依赖于上文的表示h→k,jLM\overrightarrow{\mathbf{h}}_{k, j}^{L
2019最新斯坦福CS224n课件（上）.zip
07-02
【13】"Modeling contexts of use Contextual Representations and Pretraining"探讨了上下文感知的表示学习，如ELMo和BERT等预训练模型，这些模型通过在大规模未标注数据上预训练，然后在特定任务上微调，极大地...
【cs224n-12】Modeling contexts of use: Contextual Representations and Pretraining. ELMo and BERT.
u011613991的专栏
05-31 217
上一篇我们讲解了词嵌入的静态表示和上下文动态表示的区别，即基于上下文动态表示的预训练模型的发展情况，本文是对具体细节的一些细化描述。 1. Representations for a word 我们可以从我们常见的词嵌入的静态表示模型 Word2vec, GloVe, fastText获得一个单词的表示，并应有与下游任务。 Tips for unknown words with word vectors 简单且常见的解决方案 训练时：词汇表 Vocab ...
Contextual Word Embeddings
weixin_46783985的博客
07-03 426
EMLo 在EMLo中，他们使用的是一个双向的LSTM语言模型，由一个前向和一个后向语言模型构成，目标函数就是取这两个方向语言模型的最大似然。ELMo的整体图如下图，它使用了多层LSTM，且增加了后向语言模型（backward LM）。 对于多层lstm，每层的输出都是隐向量htht，在ELMo里，为了区分，前向lstm语言模型的第j层第k时刻的输出向量命名为hLMk,j−→−hk,jLM→。 对于后向语言模型，跟前向语言模型类似，除了它是给定后文来预测前文。我们设定后向lstm的第j层的第k时刻的输出向量
word embedding和contextual embedding
zhuiyunzhugang的博客
10-11 854
embedding可以描述为Many models of source code are based on learned representation called embedding。 word embedding可以看作为word vector contextual embedding可以表述为it captures the context, since the hidden state...
CS224n学习笔记 13_Contextual Word Embeddings
duxiaodong1122的博客
07-03 272
CS224n学习笔记 13Representations for a wordTips for unknown words with word vectorsTwo problems for these representations for a wordPeters et al. (2017): TagLM – “Pre-ELMo”ULMfitThe Motivation for TransformersTransformer OverviewScaled Dot-Product AttentionBer
CS224N lecture13 Contextual Word Embeddings
地山谦的博客
07-03 271
到现在我们主要学了三种word vectors(word2vec, glove, fasttext), 他们主要的问题是每个单词只有基于context的一种表示, 而事实上一个word具有很多不同的属性, 比如semantics, syntactic behavior, and register/connotations等等. 下图是Tag LM, 可以就看出最后做NER的时, 同时用到了word embedding和LM embedding两种词嵌入, 也就是说用两种方式表达了一个单词. ELMO(Em
Contextual Transformer Networks for Visual Recognition
qq_52302919的博客
11-19 2473
最近研究领域激发了Transformer风格的架构设计的出现，并在众多计算机视觉任务中取得了竞争性的结果。然而，大多数现有设计直接在2D特征图上使用自注意力，以基于每个空间位置处的孤立查询和键对来获得关注矩阵，但未充分利用相邻键之间的丰富上下文。本文设计了一个新颖的Transformer风格模块，即上下文Transformer（CoT）块，用于视觉识别。这种设计充分利用了输入键之间的上下文信息来指导动态注意力矩阵的学习，从而增强了视觉表示的能力。从技术上讲，CoT块首先通过3×3卷积对输入键进行上下文编码，
论文解析[10] Contextual Transformer Networks for Visual Recognition
最新发布
默的博客
12-27 1374
论文解析[10] Contextual Transformer Networks for Visual Recognition 在这项工作中，我们设计了一个新颖的Transformer风格的模块，即Contextual Transformer (CoT) block，用于视觉检测。这样的设计充分利用了输入keys之间的上下文信息来指导动态注意力矩阵的学习和增强视觉表现能力。在技术上，CoT块通过一个3×3卷
论文解读：半监督双向语言模型的序列标记
qq_33331424的博客
05-11 733
Semi-supervisedsequence tagging with bidirectional language models 摘要：这篇ACL 2017的文章来自Allen研究院，在AllenNLP的NLP工具中使用该研究结果集成为英文NER方案；在这篇文章中，作者提出了一般的半监督方式对上下文嵌入的预训练方法，这种方法采用了双向语言模型对NLP系统进行建模，之后作者利用模型在序列标注任务上取得了当时最优的结果。 1 介绍 得益于预训练模型的简单性和有效性，词向量已经广泛应用到NLP系...
【论文笔记】Contextual Transformer Networks for Visual Recognition
m0_61899108的博客
07-08 1899
论文题目：Contextual Transformer Networks for Visual Recognition收录：CVPR2021论文地址：[2107.12292] Contextual Transformer Networks for Visual Recognition (arxiv.org)项目地址：GitHub - JDAI-CV/CoTNet: This is an official implementation for "Contextual Transformer Networks
京东AI：用于视觉识别的上下文Transformer网络-Contextual Transformer Networks for Visual Recognition
weixin_42390283的博客
04-23 5409
论文下载：https://arxiv.org/pdf/2107.12292.pdf 源码下载：https://github.com/JDAI-CV/CoTNet Abstract 使用自注意力机制的Transformer已经导致了自然语言处理领域的革命，最近出现了Transformer-style的架构设计，并在许多计算机视觉任务中取得了有竞争力的结果。然而，大多数现有的设计直接在二维特征图上使用自注意力，以获得基于每个空间位置的孤立查询和键对的注意力矩阵，但没有充分利用相邻键之间的丰富...
NCAD：深度学习驱动的时间序列异常检测框架
NCAD（Neural Contextual Anomaly Detection）是一种创新的时间序列异常检测框架，它融合了深度学习技术和多元时间序列表示学习，旨在从无监督到有监督的学习过程中提供无缝的迁移能力。该方法特别适用于单变量和多...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值