自然语言处理 - Transformer 到 BERT

最新推荐文章于 2024-05-06 14:57:30 发布
最新推荐文章于 2024-05-06 14:57:30 发布
阅读量608 收藏 2
点赞数
分类专栏： 自然语言处理与深度学习 文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41332009/article/details/114489895
版权

先修知识：
self-attention 到 Transformer:https://blog.csdn.net/weixin_41332009/article/details/114441708

1. BERT简介

Bidirection： BERT的整个模型结构是双向的。
Encoder： 是一种编码器，BERT只是用到了Transformer的Encoder部分。
Representation： 做词的表征。
Transformer： Transformer是BERT的核心内部元素。

BERT的基本思想和 word2vec 中的 CBOW 是一样的，都是给定context，来预测下一个词。BERT的结构是双向结构。

2. BERT的模型结构

BERT的模型结构是Seq2Seq，核心是Transformer encoder。
在这里插入图片描述

2.1 Bert模型的输入

BERT的输入包含三个部分：Token Embedding、Segment Embedding、Position Embedding。这三个部分在整个过程中是可以学习的。

在这里插入图片描述

特殊字符介绍：

  • CLS，全称是Classification Token（CLS），是用来做一些分类任务。“CLS”token为什么会放在第一位？因为本身BERT是并行结构，“CLS”放在尾部也可以，放在中间也可以。放在第一个应该是比较方便。

  • SEP，全称是Special Token（SEP），是用来区分两个句子的，因为通常在train BERT的时候会输入两个句子。从上面图片中，可以看出SEP是区分两个句子的token。

3. BERT模型的不同训练方法

3.1 BERT的预训练

BERT是如何做预训练的？有两个任务：一是Masked Language Model（MLM）；二是Next Sentence Prediction（NSP）。在训练BERT的时候，这两个任务是同时训练的。所以，BERT的损失函数是把这两个任务的损失函数加起来的，是一个多任务训练。

BERT官方提供了两个版本的BERT模型。一个是BERT的BASE版，另一个是BERT的LARGE版。BERT的BASE版有12层的Transformer，隐藏层Embedding的维度是768，head是12个，参数总数大概是一亿一千万。BERT的LARGE版有24层的Transformer，隐藏层Embedding的维度是1024，head是16个，参数总数大概是三亿四千万。

3.1.1 BERT-Masked Language Model

什么是Masked Language Model？它的灵感来源于完形填空。具体在BERT中，掩盖了15% 的Tokens。这掩盖了15%的Tokens又分为三种情况：

  • 有80%的字符用“MASK”这个字符替换，如：My dog is hairy -> My dog is [MASK].
  • 有10%的字符用另外的字符替换，如：My dog is hairy -> My dog is apple
  • 有10%的字符是保持不动，如: My dog is hairy -> My dog is hairy.

让模型去预测/恢复被掩盖的那些词语。最后在计算损失时，只计算被掩盖的这些Tokens(也就是掩盖的那15%的Tokens)

3.1.2 BERT-Next Sentence Prediction

Next Sentence Prediction是更关注于两个句子之间的关系。与Masked Language Model任务相比，Next Sentence Prediction更简单些。
在这里插入图片描述

4. What does BERT look like？

训练好BERT之后，我们来研究BERT内部的机制。BERT的BASE版本有12个head，每一个head是否有相同的功能？

如下图所示，第一个head的连线非常的密集，它是Attends broadly；对于第3个head到第1个head，更关注的是下一个单词；对于第8个head到第7个head，更关注的是句子的分割符（SEP）；对于第11个head到第6个head，更关注的是句子的句号。

所以，对于每一个head来说，代表的意义是不一样的， 这也是BERT强大的原因。BERT本身的Multi-Headed结构可以抓住不一样的特征，包括全局的特征、局部的特征等。（就像CNN中不同的卷积核能捕捉到不同的信息一样）
在这里插入图片描述
BERT的BASE版有12层的Transformer，下图中的每一个颜色代表一层的Transformer，相同颜色会聚集的比较近。相同层的head是非常相近的。
在这里插入图片描述

针对上面两幅图进行总结，对于含有12层 +12个Head的BERT模型，对于每一层来说，它的Head的功能是相似的；对于每一个Head里面的Attention表现出的功能是完全不一样的。

5. BERT在实际项目中的应用

5.1 Classification

在这里插入图片描述

5.2 Question Answering

在这里插入图片描述

5.3 Name Entity Recognition

在这里插入图片描述
BERT 与机器问答：
https://blog.csdn.net/guangyacyb/article/details/105526482

参考资料：
[1] http://blog.itpub.net/69946223/viewspace-2685469/

愉贵妃珂里叶特氏海兰
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Transformer到bert
starmoth的博客
03-21 2987
一.Transformer原理 中间那层就是transformer模型，他做的处理就是一个变压器，首先将input进行编码，然后解码后发给output，如下图所示 这个结构也可以叫做Multi-Head Attention结构。 下面详细看一下它的结构 query代表了decoder隐层序列，key代表了encoder隐层序列，value代表了encoder隐层的权重序列。那么Q，K，V则分别...
Python自然语言处理-BERT实战
10-26
通俗讲解BERT模型中所涉及的核心知识点（Transformer,self-attention等），基于google开源BERT项目从零开始讲解如何搭建自然语言处理通用框架，通过debug源码详细解读其中每一核心代码模块的功能与作用。最后基于...
VIT中特殊class token的一些问题
张齐贤的博客
12-03 1万+
类似于BERT中的[class] token,ViT引入了class token机制，其目的：因为transformer输入为一系列的patch embedding，输出也是同样长的序列patch feature，但是最后要总结为一个类别的判断，简单方法可以用avg pool，把所有的patch feature都考虑算出image feature。但是作者没有用这种方式，而是引入一个类似flag的class token,其输出特征加上一个线性分类器就可以实现分类。其中训练的时候，class token的em
HuggingfaceNLP笔记7.1Token classification
最新发布
HITzwx的博客
05-06 799
由于我们处理的是序列标注问题，我们将使用类。在定义这个模型时，主要要记住的是传递有关我们有多少标签的信息。最简单的方法是通过num_labels参数传递，但如果想要像本节开头所示的那样，有一个漂亮的推理小部件，最好设置正确的标签对应关系。它们应该通过两个字典设置，id2label和label2id现在，我们可以将它们传递给就像我们在第3章中定义时一样，创建模型时会发出警告，说明有些权重未使用（来自预训练头的权重），有些权重被随机初始化（来自新的序列标注头的权重），并且建议对模型进行训练。9。
Bert 模型学习
IT__learning的博客
10-15 2万+
一、Bert 模型 BERT 模型的全称是 BidirectionalEncoder Representations from Transformer，基于 Transformer 的双向编码器表示，是一个预训练的语言表征模型，它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的 masked language model（MLM），以致能生成深度的双向语言表征。BERT 模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的 Repres
ViT为何引入cls_token
gltangwq的博客
05-24 5444
Vision Transformer在一些任务上超越了CNN，得益于全局信息的聚合。在ViT论文中，作者引入了一个cls_token作为分类特征。 如果没有cls_token，我们使用哪个patch token做分类呢？根据自注意机制，每个patch token一定程度上聚合了全局信息，但是主要是自身特征。ViT论文还使用了所有token取平均的方式，这意味每个patch对预测的贡献相同，似乎不太合理。实际上，这样做的效果基本和引入cls_token差不多。 cls_token的作用 cls_token与
探究Transformer模型中不同的池化技术
Chaos的博客
03-29 1855
Pooling是一种将输入序列映射成固定长度向量的技术。在自然语言处理中，输入序列往往是一个变长的文本，而神经网络需要一个固定长度的向量作为输入。因此，我们需要使用Pooling技术将输入序列进行压缩，得到一个固定长度的向量。常见的Pooling技术有MaxPooling、AveragePooling、GlobalMaxPooling、GlobalAveragePooling等。
深度学习自然语言处理-Transformer模型.zip
08-29
Transformer模型是深度学习领域中自然语言处理（NLP）的一次重大突破，由Google的研究团队在2017年提出并发表在《Attention is All You Need》论文中。该模型摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）...
Python自然语言处理-BERT实战视频教程
10-28
通俗讲解BERT模型中所涉及的核心知识点（Transformer,self-attention等），基于google开源BERT项目从零开始讲解如何搭建自然语言处理通用框架，通过debug源码详细解读其中每一核心代码模块的功能与作用。
基于pytorch的谷歌自然语言处理模型BERT代码实现
03-25
BERT的核心思想是利用Transformer架构的双向上下文信息，通过预训练和微调两个阶段，让模型学习到语言的深层语义表示。预训练阶段，BERT通过两个任务——掩码语言模型（Masked Language Model, MLM）和下一句预测...
Transformer
weixin_41677138的博客
10-03 1121
transformer
BERT知识点
qq_35707773的博客
11-05 1989
BERT是一种预训练语言模型，是基于Transformer encoder的双向编码器，本质是一个denoised auto encoding(去噪自动编码)模型，它能基于上下文得到文本的表示。它是一个两阶段模型，即预训练-微调。预训练任务包括MLM（掩码语言模型）和NSP。对于下游任务，只需要额外增加一些结构，并对模型进行微调。
【Transformer】CLS（classification）有什么用？
简单记录生活、学习
10-06 2万+
CLS]就是classification的意思，可以理解为用于下游的分类任务。 一句话理解：【CSL】就是一个向量，只是不是某一个字的向量，是一个够代表整个文本的的语义特征向量，取出来就可以直接用于分类了。 意思就是它是代表整个语句的标签，代表该语句是什么含义（褒贬义/正确错误....）而不是仅仅代表一个单词的含义 主要用于以下两种任务： 单文本分类任务：对于文本分类任务，BERT模型在文本前插入一个[CLS]符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文本分类，如下图所示。可以理解为
BERT的[CLS]有什么用
热门推荐
qq_42189083的博客
10-19 4万+
[CLS]就是classification的意思，可以理解为用于下游的分类任务。 主要用于以下两种任务： 单文本分类任务：对于文本分类任务，BERT模型在文本前插入一个[CLS]符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文本分类，如下图所示。可以理解为：与文本中已有的其它字/词相比，这个无明显语义信息的符号会更“公平”地融合文本中各个字/词的语义信息。 语句对分类任务：该任...
ViT: Vision transformer的cls token作用？
MengYa_Dream的博客
08-30 1万+
一文普及ViT: Vision transformer的cls token作用？够全面
transformer中patch与token？
简单记录生活、学习
01-11 1万+
在文章以及代码中经常会出现patch与token，那么他们之间的关系到底是什么呢？ token包含：class token、patch token，在NLP叫每一个单词为token，然后有一个标注句子语义的标注是CLS，在CV中就是把图像切割成不重叠的patch序列（其实就是token） 通过上图我们看到，embedding后，有三个token，分别是class token，patch token，distillation token，其中 distillation token我们不需要关注，因
Transformer 模型中常见的特殊符号
engchina的专栏
09-11 649
Transformer 模型中常见的特殊符号
ICLR21(classification) - 未来经典“ViT” 《AN IMAGE IS WORTH 16X16 WORDS》(含代码分析)
要相信光
08-21 1608
文章目录原文地址论文阅读方法初识相知主要技术相关讨论实验回顾代码分析预制模块Transformer-BlockViT 原文地址 Arxiv原文 论文阅读方法 三遍论文法 初识 文章完整题目《AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》 Transformer本身在NLP领域就已经“大红大紫”了，在CV领域，attention机制本身就已经融入了CNN结构，要么与CNN一同应用，要么代替CNN中的某一
NLP技术 自然语言处理技术知识讲解 自然语言处理通用框架BERT原理解读 共33页.pdf
04-25
该资源是一份关于自然语言处理（NLP）技术的详细讲解文档，主要聚焦于BERT（Bidirectional Encoder Representations from Transformers）模型的原理和应用。课程通过通俗易懂的方式讲解知识点，并结合项目实战，涵盖...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值