《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》浅析

最新推荐文章于 2022-05-28 15:52:43 发布
最新推荐文章于 2022-05-28 15:52:43 发布
阅读量178 收藏
点赞数
分类专栏： 论文阅读系列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SummerHmh/article/details/91506347
版权

开头强推一篇，写得很赞：https://cloud.tencent.com/developer/article/1389555

摘要

从题目上就可以看出此篇论文的内容，如下
目的：Language Understanding，此结构是服务与语言理解
方式：Deep Bidirectional Transformers，采用的方式是深度双向Transformers
用法：Pre-training，训练的结果作为预训练的模型或者输入特征

正题：
BERT特点：通过左右上下文双向深度来进行预训练的语言表征模型
BERT应用：可添加一个输出层进行微调，然后就可以创建具有the-state-of-the-art的应用

发展

语言预训练模型提升了很多NLP任务的效果。这些任务包括句子级别的语言推理和解释，通过正题分析来预测句子之间的关系，以及token级别的任务，如实体识别等。具体有两种策略

  • feature-based：嵌入；下游模型的特征输入
    • 预选训练的词嵌入：ELMo—使用定制化的体系结构，用预先训练的表示作为附加功能
    • 句子嵌入
    • 段嵌入
  • fine-tuning：不用从头开始学习很多参数
    • OpenAI GPT : 引入了最小的特定参数，并通过简单微调预先训练的参数来训练下游任务

特点：

  • 训练期间共享相同的目标函数
  • 使用单向语言模型

局限：
当前的技术严重的限制了云训练表示的效果，尤其是微调方法。比如单向的模型限制了框架的选择，这种方式对于句子级别不是最优的，在QA中可能会产生问题。

本文：

  • 双向模型：MLM训练机制——随机遮挡输入的token，融合左右上下文，可进行双向Transformer
  • NSL训练机制——联合预训练文本对表示

模型

多层双向Transformer Encoder
这个模型是ttransformer 的encoder部分，自注意力机制后输入多头注意力模型

代码解读

https://www.processon.com/view/link/5d063d73e4b00d2a1ac7bf06
代码相对来说，比较简单，关键的是在训练过程的量

SummerHmh
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch_bert_pretrained代码学习
降措的博客
07-02 2797
配置文件 bert base { "attention_probs_dropout_prob": 0.1, "hidden_act": "gelu", "hidden_dropout_prob": 0.1, "hidden_size": 768, "initializer_range": 0.02, "intermediate_size": 3072, "max_pos...
论文笔记《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》
科研糖
05-21 576
Abstract 介绍了一种新的语言表示模型BERT，它代表Transformers的双向编码器表示。与最近的语言表达模型不同，BERT是预先训练深层双向表示，通过联合调节所有层中左右的上下文。因此，可以通过一个额外的输出层对预训练的BERT表示进行微调，以创建适用于各种任务的最新模型，如回答问题和语言推理，而无需对特定于任务的体系结构进行实质性修改。 BERT概念简单，经验丰富。它在11项自然语...
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文阅读笔记
herosunly的博客
06-12 1万+
1. 概况 语言模型预训练已经证明可以改善许多自然语言处理任务，如如命名实体识别、SQuAD问答。 现有两种策略可用于将预训练语言表示应用于下游任务：基于特征和微调。 基于特征的方法，如ELMo，使用特定于任务的体系结构，其中包括预先训练的表示作为附加功能。 微调方法，例如Generative Pre-trained Transformer（OpenAI GPT），引入了最小的任务特定参数，并通过...
构建基于BERT微调的多标签分类模型
weixin_64304788的博客
05-28 1328
实现继承BERT预训练模型的分类任务类 import torch.nn as nn from transformers import BertPreTrainedModel, BertModel, BertConfig # 构建基于BERT的微调模型类 class Model(nn.Module): def __init__(self, config): super(Model, self).__init__() # 导入参数设置对象 mode
文本匹配（语义相似度）综述
夕小瑶科技说
04-11 2万+
目录 打卡的baseline模型 打卡的任务场景和数据集 一、相似度计算&复述识别（textual similarity¶phrase identification） 二、问答匹配（answer selection） 三、对话匹配（response selection） 四、自然语言推理/文本蕴含识别（Natural Language Inference/Textual Ent...
BERT： Pre-training of Deep Bidirectional Transformers翻译
09-02
BERT（Bidirectional Encoder Representations from Transformers）是一种深度学习模型，专为语言理解而设计。该模型的创新之处在于其预训练机制，它能够从未标记的文本中学习到深度的双向表示。传统的语言模型往往...
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
10-17
谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩。毋庸置疑，BERT模型开启了NLP的新时代！
BERT_Pre-training of Deep Bidirectional Transformers for Language Understanding
11-02
BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答...
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding.
06-24
BERT，全称为Bidirectional Encoder Representations from Transformers，其核心思想是利用Transformer架构来实现深度双向的语义理解。在传统的语言模型中，如LSTM或GRU，通常只进行左向或右向的序列建模，而BERT则...
BEiT: BERT Pre-Training of Image Transformers PPT
最新发布
08-18
BEiT: BERT Pre-Training of Image Transformers PPT BEiT 是一种基于Transformer的自监督式图像预训练模型，它的提出标志着计算机视觉（CV）领域的BERT时刻的到来。BEiT 模型通过Masked Image Modeling任务，对...
BERT中的词向量指南，非常的全面，非常的干货
热门推荐
AI公园
08-20 7万+
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Chris McCormick编译：ronghuaiyang导读在本文中，我将深入研究谷歌的BERT生成的...
Bert：论文阅读-BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
czp_374的博客
01-31 2279
摘要：我们引入了一种名为BERT的语言表示模型，它代表Transformers的双向编码器表示（Bidirectional Encoder Representations）。与最近（recent）的语言表示模型（Peters et al.，2018; Radford et al.，2018）不同，BERT旨在（is designed to）通过联合调节（jointly conditioning）所...
预训练BERT学习笔记
weixin_43886056的博客
08-12 1375
预训练BERT学习笔记 文章目录预训练BERT学习笔记一、概述二、Transformer框架2.1 总体结构2.2 输入编码2.3 Self-Attention2.3 Multi-Head Attention2.4 Encoder-Decoder Attention2.5 损失层2.6 位置编码三、BERT介绍3.1 Embedding层3.2 Encoder层3.2.1 Masked Language Model3.2.2 Next Sentence Prediction3.3 prediction层四、
NLP论文精读系列（一）BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
从网络到AI，从学术界到产业界，随着兴趣去逐梦
06-12 656
1. 论文研读笔记 1.1 研究动机 Bert 作为最近最为热门，甚至可以称为近期NLP 里程碑式的研究成果，是值得仔细品读的。 1.2 研究方法 1.3 实验结果 1.4 创新点 1.5 个人点评 2. 模型调试心得 2.1 模型地址 2.2 模型运行环境 2.3 数据集选择与下载 2.4 模型运行步骤 2.5 问题与解决方法汇总 2.6 个人点评 ...
关于answer selection（结合KB和answer selection的相关论文推荐）
古月哲亭
04-04 490
https://zhuanlan.zhihu.com/p/52057462
SIGIR 2019 |基于BERT的历史答案编码实现多轮会话问答
a609640147的博客
06-09 1900
会话搜索是信息检索社区中的一个新兴话题。多轮对话搜索的主要挑战之一是对对话历史进行建模以回答当前问题。现有方法或者将历史问题和答案放置在当前问题之前或使用复杂的注意机制来模拟历史。 论文地址: https://arxiv.org/abs/1905.05412 代码地址: https://arxiv.org/abs/1905.05412https://github.com/prdwb/bert_...
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文笔记
m0_38031488的博客
11-10 4489
Introduction BERT在11项NLP任务中取得如此令人振奋的成绩主要来源与以下的三个方面： （1）BERT使用“遮蔽”语言模型去 pre-trained 深度语言表示。 （2）许多pre-trained 模型受限于特种结构、特种模型。BERT使用fine-tuning（微调）模型在众多句子级别或者是单词级别的任务中去得了最先进的效果。 （3）BERT使用双向语言模型在11项NL...
论文阅读：Transformer-Based Neural Network for Answer Selection in Question Answering
qq_38293297的博客
06-14 834
基于Transformer的神经网络在问答中的答案选择 文章目录基于Transformer的神经网络在问答中的答案选择0. 摘要1. 介绍2. 相关工作A. 非 DL 答案选择B. DL 答案选择3. 方法A、词表示层B、基于Transformer的特征提取器C、关联匹配层4. 实验A. 模型总结B. 研究问题C. 数据集和评估指标D. 实验设置5. 结果和讨论A. 模型性能B. 真值平均长度的讨论C. 模型比较6. 结论和未来展望 0. 摘要 答案选择是问答系统（QA）中至关重要的子任务。这项任务的传
阅读源码-理解pytorch_pretrained_bert中from_pretrained的工作方式
枪枪枪的博客
11-10 1万+
vocab.txt的两种来源 网络 PRETRAINED_VOCAB_ARCHIVE_MAP = { 'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased-vocab.txt", 'bert-large-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncas
BERT模型：深度双向Transformer预训练用于语言理解
这篇论文的标题是"BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"，由Jacob Devlin等人在2019年的NAACL-HLT会议上发表。BERT（Bidirectional Encoder Representations from ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值