Re63：读论文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

于 2024-03-25 13:35:00 发布
阅读量653 收藏 28
点赞数 24
分类专栏： 人工智能学习笔记 文章标签： bert 人工智能 深度学习 LLM 大规模预训练语言模型 大模型 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PolarisRisingWar/article/details/136676585
版权

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文全名：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
ArXiv下载地址：https://arxiv.org/abs/1810.04805

官方GitHub项目：google-research/bert: TensorFlow code and pre-trained models for BERT

本文是2019年NAACL论文。提出了BERT……别的背景懒得介绍了。

Transformer基础可参考我撰写的博文：Transformer原理纯享版

调用BERT的代码我写过好几篇博文了，看目录吧。
原版BERT是英文模型，但是现在有很多语言的BERT模型了。

文章目录

1. 背景

当时的预训练模型已经取得了显著成效。分为两种：

  1. feature-based
    ELMo
    用预训练表征作为特征，对不同的任务使用不同的模型结构
  2. fine-tuning
    OpenAI GPT（Re45：读论文 GPT-1 Improving Language Understanding by Generative Pre-Training）
    模型包含少量task-specific（就是你看图能发现GPT-1的下游任务微调还是有点复杂，不能像BERT、GPT-2这样一个模型干一切，就只换个输出头（T5和GPT-3都不换了））。在下游任务微调所有参数

这两种模型预训练时的损失函数都是单向语言模型，学习生成式语言表征。总之本文写了一些作者觉得这种方法的不好之处，GPT只用到前文表征，ELMo只对2个反向的、分别训练的单向LM的表征结合起来（BERT不采用类似的结构，因为缺点：1. 代价高 2. 对QA不直觉 3. 表现力不够）。

预训练语言模型表示向量：

  1. 无监督基于特征（（非）基于神经网络）的词向量→粒度更粗的表征
    ElMo  context2vec  maskgan
  2. 无监督基于微调
    GPT-1
  3. 从有监督数据迁移学习（经典ImageNet）

BERT生成的token表征是动态的。它共享/迁移的是模型的架构和参数/权重。

2. BERT整体结构

在这里插入图片描述

在这里插入图片描述

BERT可以获取双向的上下文信息，只需要在预训练模型的基础上接一个输出头就可以应用于不同的任务。

预训练 + 微调 范式
预训练损失函数是平均MLM似然的总和 + NSP似然的平均值

模型是多层双向Transformer encoder

L：Transformer block数
H：隐藏层维度
A：attention头数
BERT BASE _{\text{BASE}} BASE​ L=12, H=768, A=12, Total Parameters=110M
BERT LARGE _{\text{LARGE}} LARGE​ L=24, H=1024, A=16, Total Parameters=340M
当年这个世界多么淳朴，大模型只有340M……

太常识的东西我就不写了。

2.1 输入/输出表征

分词：WordPiece

输入sequence
可以是一个sentence或者一个sentence对

开始：[CLS] 用于序列分类任务

句子对分隔符：[SEP]
并增加可学习的segment embedding：来区分每一个token属于哪个句子（transformers包中的token_type_ids入参）

广义来说所有输入都是句子对，如果输入单一句子（用于做文本分类或序列标注）可以视为degenerate text-∅ pair

输入表征由三部分加总：
在这里插入图片描述

输出中，token表征接输出层解决token-level任务，[CLS]表征接输出层解决序列分类任务（蕴含任务、情感分析等）

在这里插入图片描述

2.2 预训练目标：MLM

masked language model

完形填空 / Cloze task

随机选择15% token，[MASK] 80% 预测原token，10%随机替换成别的token，10%不变

2.3 预训练目标：NSP

next sentence prediction

用[CLS]表征做二元分类任务

理解句子对之间的关系

3. 实验

实验在多个任务上进行，整体表现都挺好的，我懒得详写了。

文本分类任务

在这里插入图片描述

抽取式QA

在这里插入图片描述

引入 S S S 和 E E E 选出概率最大的 start / end token 位置：在这里插入图片描述
span得分：在这里插入图片描述
选择所有 j ≥ i j≥i j≥i的span中得分最高的座位预测结果。
训练目标函数是 start / end token 位置对数似然和。

非抽取式QA也用抽取式方案硬上：
在这里插入图片描述

常识推理 / 多选题

在这里插入图片描述

给出4个由given sentence和possible continuation联接成的sequence，用共同vector与[CLS]表征点积→softmax得到选项得分

消融实验

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

模型尺寸的影响

在这里插入图片描述

Feature-based Approach with BERT

在这里插入图片描述
直接用BERT输出作为表征来训练Bi-LSTM。
直接用BERT时，用第一个sub-token的表征作为整个token的表征。

参考资料

  1. BERT论文翻译_bert 论文中文-CSDN博客
诸神缄默不语
关注
  • 24
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
BERT： Pre-training of Deep Bidirectional Transformers翻译
09-02
BERT： Pre-training of Deep Bidirectional Transformers for Language Understanding论文翻译
BERT_Pre-training of Deep Bidirectional Transformers for Language Understanding
11-02
BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答...
BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding
记录学习历程
03-11 2046
BERT是Transformer的双向编码器,是self-supervised,包括两个步骤： 1. 使用两个任务预训练:1)Masked LM,随机mask token，然后预测原始的mask token;2)NSP,判断是否为下一个句子，两个句子是否连在一起（类似于二分类）。 2.微调。之后将预训练的BERT用于下游任务。在应用到不同下游任务时，只用改一下输出层，使用下游任务的输入和输出。BERT模型首先使用预训练的参数进行初始化。只有为了任务加入的层需要随机初始化，从头训练。然后使用来自下游任务的标记
【论文阅读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
zhaohongfei_358的博客
09-16 1348
BERT全称BEncoderRTransformers，其是一个基于Transformer模型、使用无监督方式训练的预训练模型。只要简单的在BERT下游接个输出层进行特定的任务，可能就直接是SOTA(state-of-the-art)模型了，就这么牛。BERT的训练使用的是“masked laguage model”(MLM)预训练任务，具体为随机掩盖住输入中的部分词，目标就是根据上下文来预测这些被盖住的词是什么。例如：输入：我正在学习深度[MASK]，目前学到了BERT一节，有点[MASK]。
bert:pre-training of deep bidirectional transformers for language understanding
liguandong
06-18 839
BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibili更多论文请见：https://github.com/mli/paper-readinghttps://www.bilibili.com/video/BV1PL411M7eQ/?spm_id_from=333.788&vd_source=4aed82e35f26bb600bc5b46e65e25c2214.8. 来自Transformers的双向编码器表示（BERT） — 动手学深度学习 2.0.0-beta0 documentationhttps
论文阅读——BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
qq_43658933的博客
03-17 2227
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Abstract 作者引入了一种新的语言表示模型BERT，只需增加一个输出层，就可以对预先训练的BERT模型进行微调，无需对特定于任务的架构进行重大修改。 1 Introduction 语言模型预训练已经证明对很多下游NLP任务有帮助，比如：自然语言推理，释义（通过整体分析来预测句子之间的关系）；命名实体识别，问答（模型需要在词牌（token）级别
Bert：Pre-training of Deep Bidirectional Transformers forLanguage Understanding
garbage回收中心
10-06 757
本文提出了一种新的语言模型-Bert，由transformer中的标准的双向编码器表示。该结构通过在所有层中对左右两边上下文进行联合调节，来对无标签文本进行预训练。实验证明，在该预训练模型上加入特定输出层后能够在多个文本任务中取得最好的成绩。包括将GLUE分数提升到了80.5%，7.7个百分点的绝对提升。和。前者（如ELMo）使用特定的任务架构，包括将预训练的表征作为额外的特征。后者（如GPT）引入最小的特定任务参数，简单地迁移所有预训练参数来在下游任务上进行训练。
【论文阅读笔记】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
ymk1998的博客
03-18 859
BERT的出现使我们终于可以在一个大数据集上训练号一个深的神经网络，应用在很多NLP应用上面。 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 深的双向Transformer 摘要（Abstract）：与别的文章的区别是什么？效果有多好？ 与ELMo的区别：ELMo基于RNN，双向，在运用到下游的任务时需要做出一些调整。BERT基于Transformer，只需要改最上层。 与GPT的
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding—阅读笔记
敷衍zgf的博客
10-26 312
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding—阅读笔记
读论文:BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
Qiqijiang66的博客
03-12 1328
读论文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 浅谈一下读这篇论文中对bert的理解 文章目录读论文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标
【论文精读】BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding
最新发布
weixin_47748259的博客
03-18 1284
与GPT对比，BERT模型旨在通过联合调节所有层中的左右上下文来预训练未标记文本的深度双向表示与ELMo对比，ELMo使用的是基于RNN的架构，因此ELMo在用到一些下游任务时，需要对架构进行调整，而预训练的 BERT 模型只需一个额外的输出层即可进行微调。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
dawnyi_yang的博客
03-20 4432
摘要 BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。它采用新的masked language model（MLM），能生成深度的双向语言表征。预训练后，只需要添加一个额外的输出层进行fine-tune，就可以在各种各样的下游任务中取得state-of-the-art的表现。在这过程中并不需要对BERT进行任务特定的结构修改。 模型结构 BERT利用MLM进行预训练并且采用深层的双向Transforme
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
10-17
谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩。毋庸置疑，BERT模型开启了NLP的新时代！
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding.
06-24
NLP-BERT模型论文
NLP：语言表示模型BERT
04-21
BERT- Pre-training of Deep Bidirectional Transformers for Language Understanding 我们介绍了一种新的语言表示模型BERT，它表示转换器的双向编码器表示。与最近的语言表示模型不同(Peters et al., 2018; Radford...
TensorFlow安装教程
热门推荐
诸神缄默不语的博客
05-28 6万+
本文介绍TensorFlow在Linux系统上的安装方法。
cs224w（图机器学习）2021冬季课程学习笔记集合
诸神缄默不语的博客
05-26 4万+
我自己写的cs224w（图机器学习）2021冬季课程笔记的目录
huggingface.transformers安装教程
诸神缄默不语的博客
02-28 3万+
本部分介绍transformers包如何安装，安装后如何检验是否安装成功，以及cache的设置和离线模式如何操作。
60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）学习笔记
诸神缄默不语的博客
04-24 2万+
PyTorch官方教程：60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）的学习笔记。
sentence-transformers的帮助文档
04-02
Sentence-transformers是一种基于深度学习的工具，用于将自然语言句子转换为向量表示。以下是该工具的帮助文档： 1. 安装 要安装Sentence-transformers，请使用以下命令： pip install sentence-transformers 2. 使用 使用Sentence-transformers很简单。只需导入相应的模型和tokenizer，并将文本传递给模型即可。以下是一个示例： from sentence_transformers import SentenceTransformer, util model = SentenceTransformer('bert-base-nli-mean-tokens') sentences = ['This is an example sentence', 'Each sentence is converted to a vector'] sentence_embeddings = model.encode(sentences) 3. 模型 Sentence-transformers包括许多不同的模型，包括基于BERT、RoBERTa和DistilBERT的模型。您可以使用以下命令查看所有可用的模型： from sentence_transformers import SentenceTransformer models = SentenceTransformer.models print(models) 4. 相似度计算 Sentence-transformers还包括一些实用程序函数，可用于计算句子之间的相似度。以下是一个示例： from sentence_transformers import SentenceTransformer, util model = SentenceTransformer('bert-base-nli-mean-tokens') sentences = ['This is an example sentence', 'Each sentence is converted to a vector', 'Sentence embeddings are useful for many NLP tasks'] sentence_embeddings = model.encode(sentences) # 计算第一句话和第二句话之间的余弦相似度 cosine_scores = util.pytorch_cos_sim(sentence_embeddings[0], sentence_embeddings[1]) print(cosine_scores) 5. 参考文献 如果您想了解有关Sentence-transformers的更多信息，请参阅以下文献： - Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence embeddings using siamese BERT-networks. arXiv preprint arXiv:1908.10084. - Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值