BERT学习笔记

最新推荐文章于 2022-11-15 19:51:28 发布

长安过客君

最新推荐文章于 2022-11-15 19:51:28 发布

阅读量552

点赞数

分类专栏：深度学习

本文链接：https://blog.csdn.net/weixin_44549377/article/details/103687006

版权

深度学习专栏收录该内容

11 篇文章 0 订阅

订阅专栏

BERT学习笔记

BERT的出现，彻底改变了预训练产生词向量和下游具体NLP任务的关系，提出龙骨级的训练词向量概念。

1. BERT是什么

BERT，全称是Pre-training of Deep Bidirectional Transformers for Language Understanding。注意其中的每一个词都说明了BERT的一个特征。
Pre-training说明BERT是一个预训练模型，通过前期的大量语料的无监督训练，为下游任务学习大量的先验的语言、句法、词义等信息。
Bidirectional说明BERT采用的是双向语言模型的方式，能够更好的融合前后文的知识。
Transformers说明BERT采用Transformers作为特征抽取器。
Deep说明模型很深，base版本有12层，large版本有24层。
总的来说，BERT是一个用Transformers作为特征抽取器的深度双向预训练语言理解模型。

2. BERT的结构

在这里插入图片描述
由多层的双向Transformer连接而成，有12层和24层两个版本

3. BERT预训练模式

3.1 输入表示

在这里插入图片描述
三种embeddings: token, segment, positon. 上述三个向量相加，组成BERT的输入。

3.2 Masked Language Model 进行训练

给定一个句子，把其中某个词遮挡起来，让人猜测可能的词。这里会随机的Mask掉15%的词，用符号[MASK]代替，然后让BERT来预测这些Mask的词。
Masked Language Model通过预测[MASK]代替的词，不断的“对比”上下文的语义，句法和词义信息，从而学到了大量相关的知识。

3.3 下一句子预测

BERT的预训练过程，还有一个预测下一句的任务。就是输入两个句子，判断第二个句子是不是第一个句子的下一句的任务。、

4. BERT学到了什么

一些语言学和一定程度的语义信息

5. seq2seq结构及其中的Attention

在这里插入图片描述
标准的编解码(seq2seq)机制的结构图
处理流程是通过编码器对输入序列进行编码，生成一个中间的语义编码向量C，然后在解码器中，对语义编码向量C进行解码，得到想要的输出。例如，在中英文翻译的任务中，编码器的输入是中文序列，解码器的输出就是翻译出来的英文序列。

6. Attention机制

要分配好注意力资源，就需要给每个资源以不同的权重，Attention机制就是计算权重的过程。
在这里插入图片描述
由资源Value，需要根据当前系统的其他状态Key和Querry来计算权重用以分配资源Value。
数学公式如下：

7. Transformer架构

在《Attention is all you need》中，Transformer是一个用于机器翻译的编解码结构，这也是它为什么叫Transformer的原因。后来，因为在序列编码中强大的特征抽取能力和高效的运算特性，Transformer被从编解码结构里抽离出来，成为了在NLP领域，目前最流行的特征抽取器。