解释BERT为什么是双向表示

已于 2022-08-28 11:19:02 修改
阅读量9.3k 收藏 24
点赞数 13
分类专栏： 自然语言处理 文章标签： BERT NLP 双向表示
于 2020-05-16 23:46:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq874455953/article/details/106167459
版权

之前也没有仔细思考这个问题， 近几天重新看了一遍BERT模型，发现之前的理解确实有问题，所以过来填坑。

在说明BERT的双向表示前，先回顾一下常见的双向表示

网络结构的双向

首先区别于biLSTM那种双向， 那种是在网络结构上的双层

例如 biLSTM来进行一个单词的双向上下文表示
在这里插入图片描述
可以看到， 这种在网络结构上， 每个单词都从正向和反向都得到一个表示， 然后将此表示进行连接， 则此时认为这就是单词的双向表示

在没有深思之前，我也一直以为BERT是使用上面的模式，而当我看到BERT的结构是这样的，说明我之前是错误的理解：

在这里插入图片描述

请注意，BERT并没有说讲一个序列反向输入到网络中，所以BERT并不属于这种。

BERT中的双向表示

那么BERT 是如何说明是双向表示呢？

首先我们指导BERT的预训练模型中，预训练任务是一个mask LM ，通过随机的把句子中的单词替换成mask标签， 然后对单词进行预测。

这里注意到，对于模型，输入的是一个被挖了空的句子， 而由于Transformer的特性， 它是会注意到所有的单词的，这就导致模型会根据挖空的上下文来进行预测， 这就实现了双向表示， 说明BERT是一个双向的语言模型
在这里插入图片描述

B站：阿里武
关注
  • 13
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
NLP教程笔记：BERT 双向语言模型
nanke_4869的博客
02-07 2570
NLP教程 TF_IDF 词向量 句向量 Seq2Seq 语言生成模型 CNN的语言模型 语言模型的注意力 Transformer 将注意力发挥到极致 ELMo 一词多义 GPT 单向语言模型 BERT 双向语言模型 目录NLP教程怎么了怎么训练代码总结全部代码 怎么了 BERT 和 GPT 还有 ELMo 是一个性质的东西。 它存在的意义是要变成一种预训练模型，提供 NLP 中对句子的理解。ELMo 用了双向 LSTM 作为句子信息的提取器，同时还能表达词语在句子中的不同含义；GPT 呢， 它是一种单向
math_exp_bert:变压器的双向编码器表示
03-08
在本文中，我们将深入探讨Transformer的双向编码器表示，并以Python实现为例进行解析。 Transformer模型的核心组件是Encoder和Decoder，其中Encoder负责对输入序列进行编码，提取上下文信息；Decoder则负责解码生成...
BERT：BERT（来自变压器的双向编码器表示）
02-14
伯特 BERT（来自变压器的双向编码器表示）
BERT：探索来自变压器的双向编码器表示形式（BERT）
02-11
伯特 ***** 2020年3月11日新产品：更小的BERT模型***** 此版本发行了24个较小的BERT模型（仅限英语，无大小写，使用WordPiece掩码进行了培训），在读物精通的 。 我们已经证明，除了BERT-Base和BERT-Large之外，标准BERT配方（包括模型体系结构和训练目标）对多种模型尺寸均有效。 较小的BERT模型适用于计算资源有限的环境。 可以按照与原始BERT模型相同的方式对它们进行微调。 但是，它们在知识提炼的情况下最有效，在这种情况下，微调标签是由更大，更准确的老师制作的。 我们的目标是允许在计算资源较少的机构中进行研究，并鼓励社区寻找替代增加模型容量的创新方向。 您可以从 下载全部24个，也可以从下表单独下载： 高= 128 高= 256 高= 512 高= 768 L = 2 L = 4 L = 6 L = 8 L = 10
【史上最小白】Bert 分析类大模型：双向 Transformer 编码器
Debroon
12-25 1592
通过混合这三种方法，模型在训练时无法确定遇到的单词是否是原文中的单词、一个随机单词还是一个遮盖的单词，从而迫使模型必须学习和理解语言的深层规律，这样它在面对新的、未见过的文本时，能够更好地理解和回答问题。电脑只学会了猜测遮住的单词（也就是标记为[MASK]的地方），而在实际使用时，我们不会告诉电脑哪些单词是被遮住的。想象你在玩捉迷藏，Bert是一个聪明的孩子，他站在中间，同时向左和向右看，能够很好地观察到左边和右边的一切动静。这样一来，电脑就不能只猜测[MASK]的地方了，它需要对所有的单词都有所判断。
Bert（Bidirectional Encoder Representations from Transformers）
北落师门XY的博客
09-21 1969
原理
Bert原理详解
suotanyu1595的博客
09-17 3464
1. Bert模型 Bert全称Bidrectional Encoder Representation fromTransformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。 1.1 模型结构 由于模型的构成元素是Transformer，就不多说了，Bert模型的结构如下图最左：
莫烦nlp-BERT双向语言模型
ronghwa_lu
03-04 885
莫烦视频：https://mofanpy.com/tutorials/machine-learning/nlp/bert/ 跳过了GPT模型；但代码里面bert模型继承了GPT模型。。。 本节不涉及莫烦对于bert的训练改进（trick），模型的任务改变，或者说标签不一样。改进版存在的问题莫烦在他的主页文字部分有详细解释。 所以这里只是介绍最基本的bert模型，它的任务和标签是什么，即怎么训练此模型。 bert是什么   BERT 和 GPT 还有 ELMo 是一个性质的东西。 它存在的意义是要变成一种
神经网络算法：一文搞懂BERT（基于Transformer的双向编码器）
最新发布
2401_84033492的博客
04-03 2878
本文将从BERT的本质、BERT的原理、BERT的应用三个方面，带您一文搞懂| BERT。
自然语言处理(七)：来自Transformers的双向编码器表示（BERT）
qq_51957239的博客
09-05 1845
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，由Google于2018年提出。它是基于Transformer模型架构的深度双向（双向指同时考虑上下文信息）表示学习模型。BERT的目标是通过在大规模文本语料上进行自监督学习来学习通用的语言表示。
谷歌nlp模型bert(双向Transformer)学习汇总
weixin_37011701的博客
12-25 604
5 分钟入门 Google 最强NLP模型：BERT https://www.jianshu.com/p/d110d0c13063 开源代码 https://github.com/google-research/bert
BERT：预训练的深度双向 Transformer 语言模型
04-28
双向表示。因此，只需要一个额外的输出层，就可以对预训练的 BERT 表示进行微调，从而为广泛的 任务（比如回答问题和语言推断任务）创建最先进的模型，而无需对特定于任务进行大量模型结构的 修改。 BERT 的概念很...
NLP：语言表示模型BERT
04-21
该模型的核心创新在于其预训练过程，它利用无标注文本生成深度双向表示，同时考虑左右两侧的上下文信息。这使得BERT能够以一种更全面的方式理解语境，而不仅仅是单向地从左到右或从右到左。 传统的语言模型如ELMo ...
cedit多行文本设置透明背景会重叠_python：电商用户评价文本分析（wordcloud+jieba）...
weixin_39699912的博客
11-24 255
一、wordcloud：文本分析1、导入wordcloud和数据可视化包matplotlib：from wordcloud import WordCloud import matplotlib.pyplot as plt import warnings warnings.filterwarnings("ignore") %matplotlib inline %config InlineBacken...
bert本质理解记录一
ningyanggege的博客
05-17 306
bert的双向理解:本质上来讲就是高层(输入层为最底层)的每个隐藏单元能接受上一层的所有信息(并非只是左边或者右边);类似DNN神经网络,每个隐藏神经元都能接受到上一层的所有信息;双向比单向功能更加强大,因为单向是双向的子集; bert的深度理解:深层必然比浅层要好;原理类似;深层包含着浅层; ...
通俗讲解bert原理
qq_45301231的博客
06-03 2921
bert与GPT一样均是采用transformer的结构，与GPT不同的是，bert是双向的，而GPT是单向的。如图所示： bert结构 先看下bert的内部结构，官网最开始提供了两个版本，L表示的是transformer的层数，H表示输出的维度，A表示mutil-head attention的个数： 如今已经增加了多个模型，其中包括中文模型： 从模型的层数来说其实已经很大了，但是由于transformer的残差（residual）模块，层数并不会引起梯度消失等问题，但是并不代表层数越多效果越好，有论
【NLP笔记】Bert浅析
appleclub666的博客
05-04 1837
在之前的博客，我们进行了CRF的原理探寻以及借助CRF工具包实现各类序列标注任务，如中文分词、NER、拼音输入法等等。现在，让我们再上一个台阶，从统计自然语言模型到神经网络自然语言模型。
BERT模型
笔记杂谈
11-29 2万+
1、背景 语言模型的与训练在自然语言处理的任务中有着重要的作用。 1.1 自然语言处理的任务 a.句子层面（sentence-level）=>判断句子之间的关系 自然语言推理（natural language inference） 自然语言改写（natural language paraphrasing） b.词层面（token-level） 命名实体识别(named entit...
使用BERT进行情感分类预测及代码实例
热门推荐
阿里武的技术博客
05-17 2万+
1. BERT配置 1.1. clone BERT 代码 1.2. 数据处理 2. 修改代码 因为这次是分类问题， 所以我们需要修改run_classify.py 2.1 加入新的任务类 因为我们是做一个分类的任务， 但是 2.2 任务类注册 3. 运行代码 运行代码需要提供参数， 这里我建议直接在pycharm编译器里加参数， 而不用按照官方教材 run xxx.sh 4. 运行问题 ...
BERT是双向Transformerm
05-20
BERT（Bidirectional Encoder Representations from Transformers）是一个双向Transformer模型，由Google在2018年发布。BERT通过对大规模语料库进行无监督训练，学习到了一种通用的语言表示形式，可以应用于各种自然语言处理任务，如文本分类、命名实体识别、问答等。BERT的双向性指的是它在训练过程中不仅考虑了当前词的左侧上下文信息，还考虑了右侧上下文信息，从而获得更加全面的语言表示。这使得BERT在很多任务上表现出色，并且成为了自然语言处理领域的一个重要里程碑。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值