BERT家族：StructBERT

最新推荐文章于 2024-05-16 12:32:15 发布
最新推荐文章于 2024-05-16 12:32:15 发布
阅读量484 收藏
点赞数
分类专栏： 预训练语言模型 BERT 文章标签： 自然语言处理 深度学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32223859/article/details/106351999
版权

StructBERT

论文：《STRUCTBERT: INCORPORATING LANGUAGE STRUCTURES INTO PRE-TRAINING FOR DEEP LANGUAGE UNDERSTANDING》

论文地址：https://arxiv.org/pdf/1908.04577

作者/机构：阿里巴巴

年份：2019.9

StructBERT 是将语言结构信息融入进Bert,来提高其性能,其主要是增加了两个基于语言结构的训练目标：词序(word-level ordering)重构任务和句序(sentence-level ordering)判定任务。

StructBERT在于Bert现有的预训练任务MLM和NSP的基础上，新增了两个预训练任务：词序重建和句序判定任务,分别如下:

（1）词序重构

从未被mask的序列中随机选择部分子序列（使用超参数K来确定子序列长度，论文选择的K值=3，即trigram），将子序列中的词序打乱，让模型重建原来的词序。作者从重新排列的子序列中选择5%，进行词序的打乱。

（2）句序判定

给定句子对(S1, S2)，判断S2是否是S1的下一个句子，或上一个句子，或毫无关联的句子（从NSP的0/1分类变成了三分类问题）。采样时，对于一个句子S，1/3的概率采样S的下一句组成句对，1/3的概率采样S的上一句组成句对，1/3的概率随机采样一个其他文档的句子组成句对。

更多NLP相关技术干货，请关注我的微信公众号【NLP有品】

姆爷
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
bert家族
u013596454的博客
09-28 483
1. introduction ​  Bert，目前nlp领域神器级模型，诞生于2018年，全称Bidirectional Encoder Representation from Transformers。该模型在其诞生时，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7% （绝对改进率5.6％）等，引起了极大的轰动。经过2年的发展
BERT： Pre-training of Deep Bidirectional Transformers翻译
09-02
BERT（Bidirectional Encoder Representations from Transformers）是一种深度学习模型，专为语言理解而设计。该模型的创新之处在于其预训练机制，它能够从未标记的文本中学习到深度的双向表示。传统的语言模型往往...
【论文翻译】StructBERT：将语言结构纳入深度语言理解的预训练中
lbl_1999_mx的博客
04-20 541
最近，预训练语言模型 BERT（及其鲁棒优化版本 RoBERTa）在自然语言理解（NLU）领域引起了广泛关注，并在各种 NLU 任务中取得了最先进的准确度，例如 情感分类、自然语言推理、语义文本相似度和问答。受 Elman [8] 线性化探索工作的启发，我们通过将语言结构纳入预训练，将 BERT 扩展到一个新模型 StructBERT。具体来说，我们使用两个辅助任务对 StructBERT 进行预训练，以充分利用单词和句子的顺序，分别在单词和句子级别利用语言结构。
BERT家族的那些事——简介篇
weixin_44686520的博客
10-06 378
BERT家族的那些事——简介篇 2018年10月谷歌公司AI团队发布了BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩，并且横扫11种不同NLP任务，BERT模型的提出为NLP领域带来了里程碑式的改变，更加证明了pretrain+fine-tune这条路的可行性，之后会有越来越多的同行者加入进来。 BERT模型虽然表现惊艳，但也有其不足之处，BERT模型提出后的两年内，各种BERT的改进模型纷纷提出，效果和性能各种碾压BERT，本系列文章将会介绍BERT模型的三种改进版，具体如下：
BERT家族进化史：10大变体，如何选择最适合你的NLP利器？
java专栏
05-16 700
BERT（Bidirectional Encoder Representations from Transformers）自问世以来，凭借其在多项NLP任务上的卓越表现，迅速成为自然语言处理领域的重要里程碑。本文将深入探讨BERT家族的几个关键变体，包括它们的设计理念、技术改进以及在实际应用中的不同场景，同时辅以代码示例，让你对BERT及其变体有更直观的理解和掌握。
BERT家族：ALBERT
qq_32223859的博客
05-25 374
ALBERT 论文：《ALBERT: A Lite BERT For Self-Supervised Learning Of Language Representations》 论文地址：https://arxiv.org/pdf/1909.11942 作者/机构：google 年份：2019.9 采用了全新的参数共享机制，反观其他升级版BERT模型，基本都是添加了更多的预训练任务，增大数据量等轻微的改动。这次ALBERT的改进，不仅提升了模型的整体效果再一次拿下来各项榜单的榜首，而且参数量相比B
BERT家族：族长BERT
qq_32223859的博客
05-25 406
自18年底谷歌BERT问世以后，NLP便逐渐步入bert时代，bert家族儿孙满堂，如RoBERTa、ALBert、ERNIE等等，这些bert们正在给并持续给nlp领域输入无限生机，让人工智能皇冠上的明珠更加光彩夺目，在其光芒的照耀下，人类的人工智能之路必定越来越清晰、明朗。 通过阅读大量博客资料，知乎专栏和论文，文本以通俗易懂而不失专业的方式总结了Bert以及其13个衍生版本，分享给大家，不足之处，望请指出。后期会不定期分享各个版本bert的详细解读以及实战代码，敬请期待。 1.BERT 论文：.
BERT家族：XL-NET
qq_32223859的博客
05-25 303
XL-Net 论文：《XLNet: Generalized Autoregressive Pretraining for Language Understanding》 论文地址：https://arxiv.org/pdf/1906.08237v1 作者/机构：CMU+google 年份：2019.6 XL-NET主要是通过改变MLM了训练的方式,来提高Bert的性能，提出了自回归（AR，autoregressive）语言模型训练方法，另外还针对长文本任务将transformer替换为tran
BERT家族：ELECTRA
qq_32223859的博客
05-26 307
ELECTRA 论文：《Efficiently Learning an Encoder that Classifies Token Replacements Accurately》 论文地址：https://openreview.net/attachment?id=r1xMH1BtvB&name=original_pdf 作者/机构：斯坦福+google 年份：2019.11 ELECTRA对Bert的改进最主要的体现在是提出了新的预训练任务和框架，把生成式的Masked language
StructBERT(ALICE)
Facico的博客
02-22 261
StructBERT(ALICE) STRUCTBERT: INCORPORATING LANGUAGE STRUCTURES INTO PRE-TRAINING FOR DEEP LANGUAGE UNDERSTANDING 效果仅次于ERNIE2.0，在GLUE上比ERNIE2.0高，目前国内GLUE绑最高作品 先看两句话 i tinhk yuo undresatnd this sentneces. 研表究明，汉字序顺并不定一影阅响读。比如当你看完这句话后，才发这现里的字全是都乱的 上面全是乱序，改进
Theseus的BERT：:sailboat:Theseus的官方PyTorch实施：通过渐进式模块替换压缩BERT（EMNLP 2020）
02-03
The-theseus BERT是通过逐步替换原始BERT的组件而得到的新的压缩BERT。引文如果您在研究中使用此代码，请引用我们的论文： @inproceedings { xu-etal-2020-bert , title = " {BERT}-of-Theseus: Compressing {BERT}...
BERT：Transformer架构的文本大师
最新发布
07-27
### BERT：Transformer架构的文本大师 #### 一、Transformer架构概述 Transformer是一种基于自注意力机制的神经网络架构，自2017年由Vaswani等人在其论文《Attention Is All You Need》中首次提出以来，在自然语言...
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks下载
03-21
### Sentence-BERT: Sentence Embeddings Using Siamese BERT-Networks #### 概述 在自然语言处理（NLP）领域，预训练模型如BERT（Bidirectional Encoder Representations from Transformers）及其变种RoBERTa已...
keras-bert-:使用Keras-bert实现二分类
05-11
【标题】: "Keras-BERT 实现二分类任务详解" 在自然语言处理领域，预训练模型如BERT（Bidirectional Encoder Representations from Transformers）已经取得了显著的成果，它能够理解和生成高质量的文本。Keras-BERT...
【李宏毅】Bert家族
SofiaT的博客
04-23 716
bert家族笔记
bert家族系列之bert
lcomecon的博客
04-23 236
接着公司项目相对没有那么忙的空档，梳理一下相关的文档，便于后续的回顾与学习。 BERT: Bidirectional Encoder Representation from Transformers 有一种说法，NLP任务分成两部分，预训练产生词（字）向量和对词向量进行操作；体现在的bert中就是预训练网络作为产生词向量的网络，然后fine-tune就是对词向量操作（NLP的下游任务） 一、预训练网络 1. 词向量模型： 词向量的进化史，是从word2vec—> ELMo ----> BERT
StructBERT解读
fengzhou_的博客
07-04 4513
《StructBERT: Incorporating Languages structures into pre-training for deep language understading》
BERT家族的那些事——XLNet篇
weixin_44686520的博客
10-06 612
本文是BERT家族系列文章的第一篇，也是NLP生涯的第一篇文章，主要是自己对于XLNet模型的一些理解，长文高能预警，写的不好的地方还请大佬们多多指教。 目录 XLNet模型简介 XLNet模型结构 1.PLM 2.TransformerXL 总结 XLNet模型简介 2018年10月谷歌推出BERT模型，性能上碾压了之前几乎所有的NLP模型，在11项NLP任务上表现优异，但BERT模型也有其不足之处，其改进版XLNet模型在众多数据集上的效果相较于BERT提高了5%-15%，下面让我们来一探究竟，一起
课节9：BERT和它的家族-介绍和微调
weixin_43631284的博客
04-14 405
李宏毅NLP课程 课节9：BERT和它的家族-介绍和微调
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值