BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding

最新推荐文章于 2023-03-11 16:50:19 发布
最新推荐文章于 2023-03-11 16:50:19 发布
阅读量115 收藏
点赞数
分类专栏： 深度之眼情感分析 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ying_M/article/details/119081180
版权

目录

在这里插入图片描述

论文阅读准备

前期知识储备

在这里插入图片描述

学习目标

在这里插入图片描述

论文导读

论文研究背景、成果及意义

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
attention的应用----transformer
在这里插入图片描述
在这里插入图片描述

论文泛读

在这里插入图片描述
摘要
在这里插入图片描述

论文精读

论文算法模型总览

在这里插入图片描述

模型细节一

注意力
在这里插入图片描述
self-attention
在这里插入图片描述
self-attention可以用来代替RNN的结构
Mul-ti head self-attention
在这里插入图片描述
Transformer
在这里插入图片描述
除以根号dk的作用：收敛速度变快，完成缩放。
双向Transformer
在这里插入图片描述
输入表征
在这里插入图片描述

模型细节二

Task1 : Masked LM
在这里插入图片描述
Task2 : 预测下一个句子
在这里插入图片描述
微调
在这里插入图片描述
阅读理解任务是指从输入的文章里面寻找问题的答案，答案是文章里面的句子，答案所在文章的开始位置和结束位置，相当于作一个分类任务，要预测开始和结束两个位置，因此要取两个词作为输出。

在这里插入图片描述
作者大致分为了四个类别，如上图所示，四幅图代表了不同的NLP任务，现在大量的task几乎都可以抽象成这四种任务结构，分别是

  • 分类任务：输入两句话，输出对应的类别。应用场景：输入两句话，输出这两句话的相似度；
  • 输入一句话。应用场景：例如情感分类(输入一句话，输出这句话的情感极性)；
  • 输入两句话(一句话为Question，另一句话为Paragraph)，输出两个位置(答案的开始位置、结束位置)，相当于输出两个类别的内容，是一个序列级别的输出；
  • NER：明显的序列标注任务，输入的这句话有多少个token，输出就有多少个token，输出的都有一个对应的类别，每个词都对应有一个标签，(每个位置输出一个概率分布，取概率值对应的最大的类别)

在这里插入图片描述
BERT文本分类方法
在这里插入图片描述

实验设置及结果分析

数据集
在这里插入图片描述比较
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
模型大小
在这里插入图片描述
在这里插入图片描述

论文总结

在这里插入图片描述
在这里插入图片描述
代码
在这里插入图片描述
huggingface官网
Transformer预训练模型库
在这里插入图片描述

  • .bin文件：bert模型的权重
  • config.json : 配置信息
  • vocab.txt
尧景
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
bert:pre-training of deep bidirectional transformers for language understanding
liguandong
06-18 855
BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibili更多论文请见：https://github.com/mli/paper-readinghttps://www.bilibili.com/video/BV1PL411M7eQ/?spm_id_from=333.788&vd_source=4aed82e35f26bb600bc5b46e65e25c2214.8. 来自Transformers的双向编码器表示（BERT） — 动手学深度学习 2.0.0-beta0 documentationhttps
BERT： Pre-training of Deep Bidirectional Transformers翻译
09-02
BERT（Bidirectional Encoder Representations from Transformers）是一种深度学习模型，专为语言理解而设计。该模型的创新之处在于其预训练机制，它能够从未标记的文本中学习到深度的双向表示。传统的语言模型往往...
【NLP】BERT(BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding)阅读与总结
让算法融入生活，改变生活！
05-15 1640
背景 自2019年以来，除了BERT以外，NLP没有什么革命性的进展，当然革命性的进展也不是那么容易出现的。BERT在各NLP任务上取得了sota无不让人惊奇与跃跃欲试。如果你是刚入门NLP，可能BERT中的内容有些难度。前文介绍的【NLP】《Attention Is All You Need》的阅读笔记就是我为书写BERT相关内容做的准备。BERT的论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understan
BERT论文解读:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
weixin_44607838的博客
12-17 2887
BERT 相信热爱NLP的朋友都对BERT十分熟悉，google提出的这个模型在NLP的多项任务中都取得了惊人的成绩，是目前NLP领域最厉害的武器之一。本文会以原论文为基础来详细解读一下BERT的来龙去脉。 在此声明一下，我并不会完全按照原论文的顺序进行解读，而是根据自己的理解来重点介绍我认为核心或者比较重要的部分。OK，我们开始。 首先我们先来看一下论文的abstract部分的关于BERT的介绍。 这句高亮语句其实已经对BERT做出了非常准确的说明。首先，BERT是一个已经经过预训练的模型，同时BERT
Bert：论文阅读-BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
czp_374的博客
01-31 2278
摘要：我们引入了一种名为BERT的语言表示模型，它代表Transformers的双向编码器表示（Bidirectional Encoder Representations）。与最近（recent）的语言表示模型（Peters et al.，2018; Radford et al.，2018）不同，BERT旨在（is designed to）通过联合调节（jointly conditioning）所...
论文阅读：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
qq_35221036的博客
12-11 261
​该论文是谷歌提出BERT时的原论文，在distill的时候感觉对于该模型的理解不够，所以再次对于该论文进行了阅读，希望有更好的理解。 ​ BERT所提供的是一种预训练模型，所谓预训练模型可以理解为一个特征抽取器，在使用的时候就将这些预训练模型用到对应的数据集上进行fintune，具体理解可参考。 1. BERT的网络结构 2. BERT的输入表示 BERT允许输入的字符的最大长度为512，由3部分组成： Token embedding： 根据词表将句子中的单词划分成每一个很小的单元 Positio
NLP论文精读系列（一）BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
从网络到AI，从学术界到产业界，随着兴趣去逐梦
06-12 656
1. 论文研读笔记 1.1 研究动机 Bert 作为最近最为热门，甚至可以称为近期NLP 里程碑式的研究成果，是值得仔细品读的。 1.2 研究方法 1.3 实验结果 1.4 创新点 1.5 个人点评 2. 模型调试心得 2.1 模型地址 2.2 模型运行环境 2.3 数据集选择与下载 2.4 模型运行步骤 2.5 问题与解决方法汇总 2.6 个人点评 ...
BERT: Pre-training of Deep Bidirectional Transformers forLanguage Understanding
记录学习历程
03-11 2127
BERT是Transformer的双向编码器,是self-supervised,包括两个步骤： 1. 使用两个任务预训练:1)Masked LM,随机mask token，然后预测原始的mask token;2)NSP,判断是否为下一个句子，两个句子是否连在一起（类似于二分类）。 2.微调。之后将预训练的BERT用于下游任务。在应用到不同下游任务时，只用改一下输出层，使用下游任务的输入和输出。BERT模型首先使用预训练的参数进行初始化。只有为了任务加入的层需要随机初始化，从头训练。然后使用来自下游任务的标记
Bert：Pre-training of Deep Bidirectional Transformers forLanguage Understanding
garbage回收中心
10-06 770
本文提出了一种新的语言模型-Bert，由transformer中的标准的双向编码器表示。该结构通过在所有层中对左右两边上下文进行联合调节，来对无标签文本进行预训练。实验证明，在该预训练模型上加入特定输出层后能够在多个文本任务中取得最好的成绩。包括将GLUE分数提升到了80.5%，7.7个百分点的绝对提升。和。前者（如ELMo）使用特定的任务架构，包括将预训练的表征作为额外的特征。后者（如GPT）引入最小的特定任务参数，简单地迁移所有预训练参数来在下游任务上进行训练。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
dawnyi_yang的博客
03-20 4455
摘要 BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。它采用新的masked language model（MLM），能生成深度的双向语言表征。预训练后，只需要添加一个额外的输出层进行fine-tune，就可以在各种各样的下游任务中取得state-of-the-art的表现。在这过程中并不需要对BERT进行任务特定的结构修改。 模型结构 BERT利用MLM进行预训练并且采用深层的双向Transforme
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
10-17
谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩。毋庸置疑，BERT模型开启了NLP的新时代！
BERT_Pre-training of Deep Bidirectional Transformers for Language Understanding
11-02
BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答...
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding.
06-24
BERT，全称为Bidirectional Encoder Representations from Transformers，其核心思想是利用Transformer架构来实现深度双向的语义理解。在传统的语言模型中，如LSTM或GRU，通常只进行左向或右向的序列建模，而BERT则...
生产中的bert：在生产环境中使用BERT（https：arxiv.orgabs1810.04805）和相关语言模型的资源集合
02-04
论文“BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding”（https://arxiv.org/abs/1810.04805）详细介绍了BERT的设计原理和训练方法。 BERT模型的特点在于其双向Transformer...
awesome-nlp：精选的自然语言处理（NLP）资源列表
01-31
- **BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding**：BERT的发布论文。 - **Deep Learning for NLP without Magic**：介绍如何在NLP中有效使用深度学习的实践指南。 6. **...
BERT&RoBERTa预训练代码，tensorflow和torch两种版本实现.zip
01-07
自谷歌2018年发表的《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，彻底摒弃了LSTM等循环网络，取得了惊人的成果。到如今，预训练语言模型（Pre-trained Language Models...
bert原文.zip
11-25
《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》这篇论文是自然语言处理领域的一篇重要文献，由Google AI Language团队在2018年发表。BERT，全称为Bidirectional Encoder ...
Scikit-Learn风格的NLP微调(Fine Tuning)模块-python
06-18
Finetune 目前支持以下模型的 TensorFlow 实现：BERT，来自“BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”RoBERTa，来自“RoBERTa：A Robustly Optimized BERT ...
BERT英文论文原文pdf
最新发布
01-26
这篇论文的标题是"BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"，由Jacob Devlin等人在2019年的NAACL-HLT会议上发表。BERT（Bidirectional Encoder Representations from ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值