【论文阅读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

最新推荐文章于 2024-06-13 22:53:07 发布
最新推荐文章于 2024-06-13 22:53:07 发布
阅读量217 收藏
点赞数
分类专栏： nlp 文章标签： 论文阅读 bert 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/capsnever/article/details/127266239
版权

1.论文链接

BERT

2.论文主要为了解决什么问题？

主要为了解决对于一个已经train好的神经网络迁移的时候需要改动很多结构的问题

3.模型流程

在这里插入图片描述
输入的时候使用上面这个图的流程，首先对位置进行编码，是非常简单的直接用index进行嵌入就可以了（0,1,2,3…），segment embeddings主要是为了去掉不常用的词，只用词根来表示。token embeddings是对word进行编码，然后将这三个embedding加起来。


论文在微调的时候，需要看到context，作者提出来了一个想法：就是每次80%的时间需要猜测这个单词，10%的时间需要代替这个单词，10%的时间保持这个单词不变。这样就能让这个网络既有预测能力，又看到了这个单词。

4.论文创新点

论文解除了GPT的单向限制（只能从左边看），同时他引入了既能看到单词的方法，又能进行猜测

5.本论文收到了哪些论文启发？

论文基于GPT和ELMO

Capsfly
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
bert:pre-training of deep bidirectional transformers for language understanding
liguandong
06-18 843
BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibili更多论文请见：https://github.com/mli/paper-readinghttps://www.bilibili.com/video/BV1PL411M7eQ/?spm_id_from=333.788&vd_source=4aed82e35f26bb600bc5b46e65e25c2214.8. 来自Transformers的双向编码器表示（BERT） — 动手学深度学习 2.0.0-beta0 documentationhttps
BERT： Pre-training of Deep Bidirectional Transformers翻译
09-02
BERT： Pre-training of Deep Bidirectional Transformers for Language Understanding论文翻译
BERT论文阅读(一): Pre-training of Deep Bidirectional Transformers for Language Understanding
天狼啸月1990的博客
06-22 1680
BERT三大核心： pre-training bidirectional fine-tuning Abstract BERT, Bidirectional Encoder Representations from Transformers, a new language representation model. BERT，来源于Transformers的双向编码器表示 to pretrain deep bidirectional representations from unlabeled t
BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding
记录学习历程
03-11 2070
BERT是Transformer的双向编码器,是self-supervised,包括两个步骤： 1. 使用两个任务预训练:1)Masked LM,随机mask token，然后预测原始的mask token;2)NSP,判断是否为下一个句子，两个句子是否连在一起（类似于二分类）。 2.微调。之后将预训练的BERT用于下游任务。在应用到不同下游任务时，只用改一下输出层，使用下游任务的输入和输出。BERT模型首先使用预训练的参数进行初始化。只有为了任务加入的层需要随机初始化，从头训练。然后使用来自下游任务的标记
论文阅读——BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
qq_43658933的博客
03-17 2235
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Abstract 作者引入了一种新的语言表示模型BERT，只需增加一个输出层，就可以对预先训练的BERT模型进行微调，无需对特定于任务的架构进行重大修改。 1 Introduction 语言模型预训练已经证明对很多下游NLP任务有帮助，比如：自然语言推理，释义（通过整体分析来预测句子之间的关系）；命名实体识别，问答（模型需要在词牌（token）级别
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding—阅读笔记
敷衍zgf的博客
10-26 336
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding—阅读笔记
Bert：Pre-training of Deep Bidirectional Transformers forLanguage Understanding
garbage回收中心
10-06 761
本文提出了一种新的语言模型-Bert，由transformer中的标准的双向编码器表示。该结构通过在所有层中对左右两边上下文进行联合调节，来对无标签文本进行预训练。实验证明，在该预训练模型上加入特定输出层后能够在多个文本任务中取得最好的成绩。包括将GLUE分数提升到了80.5%，7.7个百分点的绝对提升。和。前者（如ELMo）使用特定的任务架构，包括将预训练的表征作为额外的特征。后者（如GPT）引入最小的特定任务参数，简单地迁移所有预训练参数来在下游任务上进行训练。
【论文阅读笔记】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
ymk1998的博客
03-18 864
BERT的出现使我们终于可以在一个大数据集上训练号一个深的神经网络，应用在很多NLP应用上面。 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 深的双向Transformer 摘要（Abstract）：与别的文章的区别是什么？效果有多好？ 与ELMo的区别：ELMo基于RNN，双向，在运用到下游的任务时需要做出一些调整。BERT基于Transformer，只需要改最上层。 与GPT的
BERT ：Pre-training of Deep Bidirectional Transformers for Language Understanding论文阅读笔记（NAACL 2019）
learn more，have more
03-06 247
BERT：用于语言理解的深度双向Transformer预训练
【论文精读】BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding
weixin_47748259的博客
03-18 1320
与GPT对比，BERT模型旨在通过联合调节所有层中的左右上下文来预训练未标记文本的深度双向表示与ELMo对比，ELMo使用的是基于RNN的架构，因此ELMo在用到一些下游任务时，需要对架构进行调整，而预训练的 BERT 模型只需一个额外的输出层即可进行微调。
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
10-17
谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩。毋庸置疑，BERT模型开启了NLP的新时代！
BERT_Pre-training of Deep Bidirectional Transformers for Language Understanding
11-02
BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答...
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding.
06-24
NLP-BERT模型论文
BERT&RoBERTa预训练代码，tensorflow和torch两种版本实现.zip
01-07
自谷歌2018年发表的《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，彻底摒弃了LSTM等循环网络，取得了惊人的成果。到如今，预训练语言模型（Pre-trained Language Models...
论文阅读：H-ViT，一种用于医学图像配准的层级化ViT
最新发布
wwimhere的博客
06-13 889
来自CVPR的一篇文章，用CNN+Transformer混合模型做图像配准。可变形图像配准是一种在相同视场内比较或整合单模态或多模态视觉数据的技术，它旨在找到两幅图像之间的非线性映射关系。
【LLM之RAG】RAFT论文阅读笔记
<p>专注挖坑</p>
06-11 987
论文针对的主要问题是如何将预训练的大型语言模型（LLMs）适应特定领域的检索增强生成（RAG）。这些模型通常在广泛的文本数据上进行预训练，已经表现出在广义知识推理任务上的优越性能。然而，在特定领域，如法律、医学或最新新闻等，普遍的知识推理不足以满足精确性的要求，因此需要对这些模型进行适应性调整以增强其在这些领域内的应用性能。
Exploring Performance and Cost Optimization with ASIC-Based CXL Memory——论文阅读
重新开始写博客
06-11 826
针对CXL硬件的测试，测试不同软件在CXL硬件上的性能变化。本文在ASIC CXL 1.1存储器上进行评估，测试不同类型应用的性能表现。（1）CXL 1.1性能特征。带宽争用：延迟在中低带宽利用率下相对稳定，随着带宽接近高水平，延迟呈指数级增加，这主要是由于内存控制器中的排队延迟。与本地主存相比，ASIC CXL的访问延迟为2.5倍，实现了73.6%的PCIe带宽。（2）内存容量受限应用，如键值存储、大数据分析、弹性计算。CXL提供的额外内存容量可以改善受主存容量限制的应用程序。
论文阅读Rolling-Unet，卷积结合MLP的图像分割模型
wwimhere的博客
06-12 848
2）接着，在Rolling操作之后，R-MLP在每个空间位置索引 (hi,wj) 上执行带有权重共享的通道投影，以编码长距离依赖性。通道投影是指在特征矩阵的每个空间位置（即图像的每个像素位置）上，对所有通道的特征进行线性变换，以生成新的特征表示。通道投影的目的是将Rolling操作后的多通道特征进行整合和编码，以捕获长距离依赖性。在Rolling操作之后，每个空间位置的特征图可能会有不同的宽度或高度特征。
推荐10篇学习chatgpt的论文
03-23
很高兴为您提供关于学习ChatGPT的10篇论文推荐： 1. "Language Models are Few-Shot Learners" by Tom B. Brown et al. 2. "GPT-2: Language Generation and Comprehension" by Alec Radford et al. 3. "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" by Jacob Devlin et al. 4. "XLNet: Generalized Autoregressive Pretraining for Language Understanding" by Zhilin Yang et al. 5. "RoBERTa: A Robustly Optimized BERT Pretraining Approach" by Yinhan Liu et al. 6. "T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer" by Colin Raffel et al. 7. "UniLM: Unified Language Model Pre-training" by Li Dong et al. 8. "ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators" by Kevin Clark et al. 9. "CTRL: A Conditional Transformer Language Model for Controllable Generation" by Nitish Shirish Keskar et al. 10. "Reformer: The Efficient Transformer" by Nikita Kitaev et al. 希望这些论文能够帮助您更好地了解ChatGPT的学习。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值