经典论文阅读（4）——BERT

最新推荐文章于 2024-10-14 10:34:49 发布
最新推荐文章于 2024-10-14 10:34:49 发布
阅读量428 收藏
点赞数
分类专栏： 经典论文 文章标签： bert 自然语言处理 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fmf1287/article/details/121752553
版权

BERT依赖于所有层的上下文进行预训练，学习深度双向表征。

屏蔽语言模型MLM随机屏蔽了输入中的一些标记，其目的是根据上下文预测被屏蔽的单词。MLM的目标是将表征融合上下文，以预训练一个深度双向Transformer。除了MLM，还用了一个“下一句预测”任务联合预训练文本对表示。

输入表征

一个输入token的表征为相应的token embedding、segment embedding、position embedding相加。

预训练BERT

利用MLM和NSP两个无监督任务对BERT进行预训练。

任务1：MLM

直观上，一个深度双向模型比left-to-right模型或left-to-right模型和right-to-left模型的浅层concat更加强大。但是标准的条件语言模型必须从左向右和从右向左训练，而双向条件语言模型允许间接”看到自己“。为解决该问题，随机选取15%的单词替换为[MASK]进行预测。由于微调时不会出现[MASK]字符，与预训练不匹配，因此在这15%的单词中：1）80%的替换为[MASK]；2）10%的随机替换为其他单词；3）10%的为原单词。

任务2：NSP

选取句子A和B作为一个训练样本，B有50%的概率为真实的下一句（IsNext），有50%的概率为语料中随机选取的下一句（NotNext）。

BERT_{base}包含12个Transformer block，12个self-attention头，隐藏层维度为768

BERT_{large}包含24个Transformer block，16个self-attention头，隐藏层维度为1024

精调BERT

对于每个任务，我们只需将特定于任务的输入和输出插入BERT中，然后端到端微调所有参数。

fmf1287
关注
专栏目录
LLM 系列——BERT——论文解读
TigerZ*的博客
02-28 1182
BERT是单模态“小”语言模型，是一个“Bidirectional Encoder Representations fromTransformers”的缩写，是一个语言预训练模型，通过随机掩盖一些词，然后预测这些被遮盖的词来训练双向语言模型（编码器结构）。可以用于句子分类、词性分类等下游任务，本身旨在提供一个预训练的基础权重。
Transformer大模型实战 DistilBERT 模型——BERT模型的知识蒸馏版本
AI天才研究院
07-03 811
在自然语言处理（NLP）领域，预训练模型如BERT、GPT等展示了强大的文本理解和生成能力，但在实际部署时面临着巨大的计算和存储成本。尤其对于需要在资源受限设备上运行的应用场景，如何在保持高性能的同时降低模型大小成为了一个关键问题。BERT（Bidirectional Encoder Representations from Transformers）是一个多层双向Transformer模型，它能够学习到上下文相关的词语表示，并且在多个下游任务上取得了卓越的效果。Teacher-Student架构。
NLP系列经典论文(2) -- BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding
Levi_Ackerman__的博客
12-16 1138
首先放原文链接 https://arxiv.org/pdf/1810.04805.pdfhttps://arxiv.org/pdf/1810.04805.pdf Abstract We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language
BERT论文精读
weixin_45569576的博客
03-07 3289
如果对nlp过去三年里面最重要的文章作排序的话，你把bert排第二，就很难有文章可以排第一了。cv里面很早就可以做预训练，比如在imagenet上，以提升性能，而nlp很难做预训练。BERT应运而生！！！ ...
最新BERT相关论文汇总
深度学习技术前沿
12-11 557
原文链接：https://github.com/murufeng/BERT_papers项目列表展示：更多项目详细内容，点击阅读原文查看。 ...
【自然语言处理 | BERT】BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding论文讲解
wzk4869的博客
05-04 1744
【自然语言处理 | BERT】BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding论文讲解
电信保温杯笔记——NLP经典论文：BERT
sinat_39448069的博客
12-27 2394
NLP经典论文：BERT 笔记《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》模型结构文章部分翻译相关视频相关的笔记相关代码pytorchtensorflowkeraspytorch API:tensorflow API 《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》 模型结构
论文阅读——BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
qq_43658933的博客
03-17 2383
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Abstract 作者引入了一种新的语言表示模型BERT，只需增加一个输出层，就可以对预先训练的BERT模型进行微调，无需对特定于任务的架构进行重大修改。 1 Introduction 语言模型预训练已经证明对很多下游NLP任务有帮助，比如：自然语言推理，释义（通过整体分析来预测句子之间的关系）；命名实体识别，问答（模型需要在词牌（token）级别
bert论文解析——BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
da_kao_la的博客
11-05 3003
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 前言 bert是google在NLP方面的一个重要的工作，可以说一定程度上改变了NLP领域的研究方式。bert获得了2019 NAACL的最佳长论文奖。 简介 预训练模型 bert，连同之前的ELMO和GPT，可以说开创了NLP的『预训练...
论文阅读——RoBERTa A Robustly Optimized BERT Pretraining Approach
qq_43658933的博客
03-17 1570
RoBERTa A Robustly Optimized BERT Pretraining Approach Abstract Devlin等人在 BERT Pre-training of Deep Bidirectional Transformers for Language Understanding 提出的BERT预训练研究虽然已达到最优结果，但 训练成本比较高，很难彻底得到训练 训练的时候通常是在不同大小的私有数据集上进行训练的，很难判断具体哪个部分对结果有促进作用 所以，作者重新衡量了关键参数
BERT 论文逐段精读【论文精读】-跟李沐学AI
qq_42014059的博客
04-04 4604
视频链接：BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibili BERT: 近 3 年 NLP 最火 CV: 大数据集上的训练好的 NN 模型，提升 CV 任务的性能 —— ImageNet 的 CNN 模型 NLP: BERT 简化了 NLP 任务的训练，提升了 NLP 任务的性能 BERT 如何站在巨人的肩膀上的？使用了哪些 NLP 已有的技术和思想？哪些是 BERT 的创新？ 1标题 + 作者  01:34  BERT: Pre-training of Deep ...
BERT论文总结
fengdu78的博客
10-30 715
本次分享和总结自己所读的论文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understandi...
理解NLP中的屏蔽语言模型(MLM)和因果语言模型(CLM)
deephub
06-20 1万+
大多数现代的NLP系统都遵循一种非常标准的方法来训练各种用例的新模型，即先训练后微调。在这里，预处理训练的目标是利用大量未标记的文本，在对各种特定的自然语言处理任务(如机器翻译、文本摘要等)进行微调之前，建立一个通用的语言理解模型。 在本文章中，我们将讨论两种流行的训练前方案，即掩蔽语言建模(MLM)和因果语言建模(CLM)。 屏蔽语言模型解释 在屏蔽语言建模中，我们通常屏蔽给定句子中特定百分比的单词，模型期望基于该句子中的其他单词预测这些被屏蔽的单词。这样的训练方案使这个模型在本质上是双向的，因为掩蔽词
一文读懂BERT(原理篇)
热门推荐
程序猿废柴的博客
04-19 29万+
一文读懂BERT（从原理到实践） 2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。 本文是对近期关于BERT论文、相关文章、代码进...
Bert论文浅析
how many roads a model must walk down, before they call him a service
01-05 3517
本博文默认你对：Word2Vec / ELMo / transformer / OpenAI GPT 有一定了解 bert是Google于今年10月提出的模型，该模型打破了多项NLP的记录，甚是牛逼。 先导知识介绍 part1 对图像领域有些了解的同学，肯定经常能看见，这个网络那个网络，动不动拿ImageNet预训练，然后自己特定的任务就在预训练好的模型中进行微调fine-tuning。为什么可以...
BERT解读（论文 + TensorFlow源码）
Magical_Bubble的博客
04-25 8617
BERT，全称Bidirectional Encoder Representations from Transformers，是Google在18年11月份推出的一个NLP预训练的模型，它一出现，就横扫各大NLP任务的SoTA，并且Google还良心的放出了源码和预训练模型，可以说是像ImageNet那种里程碑式的突破。
自然语言处理 (NLP) 的 5 个步骤
冷冻工厂
10-10 1188
例如，如果一句话读作“Manhattan speaks to all its people”，紧接着的下一句话读作“It calls out to Dave”，话语整合检查第一句话的上下文以理解后一句话中的“It”指的是曼哈顿。对于你的企业来说，挑战在于了解客户和潜在客户对你的产品和服务的看法，但时间和资源的限制使得这一点难以有效实现。单词“unimaginable”包含词素“un-”（一个表示否定语境的黏着词素）、“imagine”（整个单词的自由词素根）和“-able”（一个表示词根能力的黏着词素）。
Python 如何使用 Bert 进行中文情感分析
程序员徐师兄的博客
10-11 1096
在自然语言处理（NLP）领域，情感分析是一个非常常见且重要的应用。情感分析通常用于识别文本中的情感，例如判断一条微博或评论是正面、负面还是中性。在过去的几年中，随着深度学习的发展，BERT（Bidirectional Encoder Representations from Transformers）模型迅速成为了处理自然语言的强大工具。BERT 是一种基于 Transformer 架构的预训练模型，它能够捕捉文本的上下文信息，并在许多 NLP 任务中达到了顶尖的表现。
论文阅读笔记- Language Modeling with Gated Convolutional Networks
mohen_777的博客
10-10 458
论文使用的是宽卷积对于文本长度更大的数据集而言，论文使用了更深的网络结构以获取其Long-Term记忆。提出一种基于线性门控单元（Gated Linear Units）的卷积网络并将其运用于语言建模。GLU在保持一定非线性能力的同时通过为梯度提供线性的传播路径使得在深度架构中能够有效减少“梯度消失”的问题。在GBW数据集上证明了该卷积网络性能优于其他语言模型：如LSTMs，并在段落数据集WikiText-103上验证了该模型处理长距离依赖（long-range depenencies）的能力。
【论文速读】Adapter tuning：Parameter-Effificient Transfer Learning for NLP
最新发布
weixin_43457608的博客
10-14 709
对大型预训练模型进行微调是自然语言处理中一种有效的传递机制。然而，在存在许多下游任务的情况下，微调是参数效率较低的：每个任务都需要一个全新的模型。**作为一种替代方案，我们建议使用适配器模块进行传输。适配器模块产生一个紧凑和可扩展的模型；它们每个任务只添加一些可训练参数，可以添加新的任务而无需重新访问以前的任务。原网络的参数保持不变，产生了高度的参数共享。**为了证明适配器的有效性，我们将最近提出的BERT变压器模型转移到26个不同的文本分类任务中，包括GLUE基准测试。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值