bert家族

最新推荐文章于 2023-09-13 22:30:51 发布
最新推荐文章于 2023-09-13 22:30:51 发布
阅读量575 收藏 1
点赞数
分类专栏： 自然语言处理 文章标签： bert 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013596454/article/details/120529965
版权
本文介绍了BERT及其发展历程，包括Bert、XlNet、RoBERTa、T5、Electra和ALBERT等模型。BERT通过双向Transformer预训练策略实现了语言理解的突破，后续模型在预训练策略和模型优化上不断改进，如XlNet的Permutation Language Model和RoBERTa的去掉NSP损失等。这些发展展示了深度学习在自然语言处理领域的持续进步。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. introduction

​  Bert，目前nlp领域神器级模型，诞生于2018年，全称Bidirectional Encoder Representation from Transformers。该模型在其诞生时，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7% （绝对改进率5.6％）等，引起了极大的轰动。经过2年的发展，在标准的Bert模型基础上又诞生了相当多的改进，十分有必要学习一下目前的进展。

2. 模型发展综述

2.1 Bert

 Bert模型的开端，它在工程上没有什么特别大的创新，如果懂了transformer，那么基本上就懂了模型的大概，重要的理解其背后的思想。Bert的paper名字叫做：Pre-training of Deep Bidirectional Transformers for Language Understanding，papar name基本包含了所有的内容。

2.1.1 Deep Bidirectional Transformers

 pre-training技术并不新鲜，在Bert之前的很多模型，比如ELMo和GPT上已经得到了应用，不过这些模型多少还存在不足。

Bert与GPT和ELMo的区别

 对比OpenAI GPT(Generative pre-trained transformer)，Bert是双向的Transformer block连接；就像单向RNN和双向RNN的区别，这种结果能让模型获得更丰富的信息，从而获得更强的表达能力。

 对比ELMo，虽然都是“双向”，但目标函数其实是不同的。ELMo是分别以[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ItGis3fB-1632813118432)(https://www.zhihu.com/equation?tex=P%28w_i%7C+w_1%2C+…w_%7Bi-1%7D%29)] 和 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H0Uo1Ech-1632813118433)(https://www.zhihu.com/equation?tex=P%28w_i%7Cw_%7Bi%2B1%7D%2C+…w_n%29)] 作为目标函数，独立训练处两个representation然后拼接，而Bert则是以 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DLzwW8DK-1632813118437)(https://www.zhihu.com/equation?tex=P%28w_i%7Cw_1%2C++…%2Cw_%7Bi-1%7D%2C+w_%7Bi%2B1%7D%2C…%2Cw_n%29)] 作为目标函数训练LM,所以Bert在信息融合层面显然要比ELMo更强大，效果也更好。

2.1.2 Pre-training

 这里应该就是Bert比较有创新的地方了，论文中，作者使用了两种预训练策略：

  • Masked Language Modeling

 假设有这样一个句子：“我喜欢阅读Analytics Vidhya上的数据科学博客”。想要训练一个双向的语言模型，可以建立一个模型来预测序列中的遗漏单词，而不是试图预测序列中的下一个单词。将“Analytics”替换为“[MASK]”，表示丢失的标记。然后，以这样的方式训练模型，使其能够预测“Analytics”是本句中遗漏的部分:“我喜欢阅读[MASK]Vidhya上的数据科学博客。”。这样处理后，预测一个词汇时，模型并不知道输入对应位置的词汇是否为正确的词汇（10%概率），这就迫使模型更多地依赖于上下文信息去预测词汇，并且赋予了模型一定的纠错能力。

 这是Masked Language Model的关键。BERT的开发者还提出了一些进一步改进该技术的注意事项:

 1）为了防止模型过于关注特定的位置或掩盖的标记，研究人员随机掩盖了15%的词（个人认为这里设为15%有加速收敛的效果，毕竟mask比例越大则信息损失越多，模型从未mask的token中恢复信息需要的训练轮次也越多），这样的处理使得模型只会预测语料库中的15%单词，而不会预测所有的单词。

 2）掩盖的词并不总是被[MASK]替换，因为在微调时不会出现[MASK]。

 研究人员使用了以下方法：

 o [MASK]替换的概率为80%

 o 随机词替换的概率为10%

 o 不进行替换的概率为10%

 这种策略就是普通语言模型。

Bert只预测Mask掉的单词
  • Next Sentence Prediction

 Masked Language Model是为了理解词之间的关系。BERT还接受了Next Sentence Prediction训练，来理解句子之间的关系。

 问答系统 question answering systems是一个不错的例子。该任务十分简单。给定两个句子，句A和句B，B是语料库中在A后面的下一个句子，还是只是一个随机的句子？

 由于它属于到二分类任务，通过将数据拆分为句子对，就可以很容易地从任何语料库中生成数据。就像Masked Language Model一样，研发者也在这里添加了一些注意事项。例如:

 假设有一个包含100,000个句子的文本数据集。因此，将有5万个训练样本或句子对作为训练数据。

 • 其中50%的句子对的第二句就是第一句的下一句。

 • 剩余50%的句子对，第二句从语料库中随机抽取。

 • 第一种情况的标签为‘IsNext’ ；第二种情况的标签为‘NotNext’。

Next Sentence Prediction: 由于是个二分类任务，因而这里只使用[CLS]这个特殊word的vector来预测，默认该word编码来两个句子的关联信息。

 这就是BERT为什么能够成为一个真正的任务无关模型。因为它结合了Masked Language Model (MLM)和Next Sentence Prediction (NSP)的预训练任务。

2.1.3 超强的通用性

 如果Bert只是性能好而通用性欠佳，那么大概也不会导致这么大的反响，不过Bert在性能强的同时又保证了良好的通用性，这就没有不火的理由了。Bert通过良好的预处理方式，保证了自己的良好通用性。

1）文本分类任务

 单文本分类任务：对于文本分类任务，Bert模型在文本前插入一个[CLS]符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文本分类，如下图所示。可以理解为：与文本中已有的其它字/词相比，这个无明显语义信息的符号会更“公平”地融合文本中各个字/词的语义信息。

2）语句对分类任务

 语句对分类任务：该任务的实际应用场景包括：问答（判断一个问题与一个答案是否匹配）、语句匹配（两句话是否表达同一个意思）等。对于该任务，BERT模型除了添加[CLS]符号并将对应的输出作为文本的语义表示，还对输入的两句话用一个[SEP]符号作分割，并分别对两句话附加两个不同的文本向量以作区分，如下图所示：

3）序列标注任务

 该任务的实际应用场景包括：中文分词&新词发现（标注每个字是词的首字、中间字或末字）、答案抽取（答案的起止位置）等。对于该任务，BERT模型利用文本中每个字对应的输出向量对该字进行标注，如下图所示(B、I、E分别表示一个词的第一个字、中间字和最后一个字)。

 Bert模型整体输入/输出：

从图可以看出，其混合了三种向量：

  1. 字向量：普通的Embedding输出。
  2. 文本向量：该向量的取值在模型训练过程中自动学习，用于刻画文本的全局语义信息，并与单字/词的语义信息相融合，适用于语句对分类任务，表示word属于哪个句子。
  3. 位置向量：同标准的transformer。

2.2 XlNet

 Bert的引入为nlp打开了一道新的大门，不过不代表其就是完善的，分别看一下Bert的两个重要机制：

  1. Masked

 Bert在做pre-train的时候，是预测被那些被[MASK]替换的token，而在fine-tuning的时候，输入文本中是没有[MASK]的，这很显然就会导致一个bias的问题，尽管作者也意识到了这个问题，并设计了一些替换策略，比如用替换为其他正常词而非[MASK],不过在pre-train的时候只有15%的词会被替换，然后替换的词中只有10%的词会被替换为其他正常词，这个比例这是一下只有1.5%，是非常低的。

  1. Parallel

 这是Bert相比于RNN的一个优势，但是有得必有失，并行的加入是以失去部分序列依赖性为代价的，而对于RNN系列模型，由于每次都是从左向右或者从右向左，所以可以明显捕捉到依赖性。

 Bert取得的重大进步就是通过捕捉双向语境来获得的，代价就是上面两个，那么问题就变成了，如果在保持Bert优势的基础上，克服上面的两个问题呢？XlNet给出了自己的答案。

 在介绍XlNet以前，有必要了解两个概念：自回归语言模型（Autoregressive LM）和自编码语言模型（Autoencoder LM）：

  1. 自回归语言模型（Autoregressive LM）

 自回归模型（英语：Autoregressive model，简称AR模型），是统计上一种处理时间序列的方法，用同一变数例如[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GfxjhA3f-1632813118444)(https://wikimedia.org/api/rest_v1/media/math/render/svg/87f9e315fd7e2ba406057a97300593c4802b53e4)]的之前各期，亦即 x 1 x_{1} x1​至 x t − 1 x_{t-1} xt−1​来预测本期 x t x_{t} xt​的表现，并假设它们为一线性关系。因为这是从回归分析中的线性回归发展而来，只是不用 x x x预测[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I2l0EQHT-1632813118445)(https://wikimedia.org/api/rest_v1/media/math/render/svg/b8a6208ec717213d4317e666f1ae872e00620a0d)]，而是用[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LEToP6kv-1632813118446)(https://wikimedia.org/api/rest_v1/media/math/render/svg/87f9e315fd7e2ba406057a97300593c4802b53e4)]预测[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mU2eIjgk-1632813118447)(https://wikimedia.org/api/rest_v1/media/math/render/svg/87f9e315fd7e2ba406057a97300593c4802b53e4)]（自己）,所以叫做自回归(摘自wiki)。从这个定义来看，可以发现ELMo/Bert以前的诸多模型基本都是自回归模型，因为他们就是对一个句子从左向右或者从右向左，利用前面token的信息来预测本时间步的token。GPT 就是典型的自回归语言模型。ELMO尽管看上去利用了上文，也利用了下文，但是本质上仍然是自回归LM，因为虽然ELMO是做了两个方向（从左到右以及从右到左两个方向的语言模型），但是是分别有两个方向的自回归LM，然后把LSTM的两个方向的隐节点状态拼接到一起，来体现双向语言模型这个事情的。所以其实是两个自回归语言模型的拼接，本质上仍然是自回归语言模型。

 自回归语言模型有优点有缺点，缺点是只能利用上文或者下文的信息，不能同时利用上文和下文的信息，当然，貌似ELMO这种双向都做，然后拼接看上去能够解决这个问题，因为融合模式过于简单，所以效果其实并不是太好。它的优点，其实跟下游NLP任务有关，比如生成类NLP任务，比如文本摘要，机器翻译等，在实际生成内容的时候，就是从左向右的，自回归语言模型天然匹配这个过程。而Bert这种DAE模式，在生成类NLP任务中，就面临训练过程和应用过程不一致的问题，导致生成类的NLP任务到目前为止都做不太好。

  1. 自编码语言模型（Autoencoder LM）

 自回归语言模型只能根据上文预测下一个单词，或者反过来，只能根据下文预测前面一个单词。相比而言，Bert通过在输入中随机Mask掉一部分单词，然后预训练过程的主要任务之一是根据上下文单词来预测这些被Mask掉的单词，如果你对Denoising Autoencoder比较熟悉的话，会看出，这确实是典型的DAE的思路。那些被Mask掉的单词就是在输入侧加入的所谓噪音。类似Bert这种预训练模式，被称为DAE LM。

 这种DAE LM的优缺点正好和自回归LM反过来，它能比较自然地融入双向语言模型，同时看到被预测单词的上文和下文，这是好处。缺点嘛，就是上面提到的两个。

 XLNet的出发点就是：能否融合自回归LM和DAE LM两者的优点。就是说如果站在自回归LM的角度，如何引入和双向语言模型等价的效果；如果站在DAE LM的角度看，它本身是融入双向语言模型的，如何抛掉表面的那个[Mask]标记，让预训练和Fine-tuning保持一致。问题有了，接下来就是解决了。

 XLNet仍然遵循两阶段的过程，第一个阶段是语言模型预训练阶段；第二阶段是任务数据Fine-tuning阶段。它主要希望改动第一个阶段，就是说不像Bert那种带Mask符号的Denoising-autoencoder的模式，而是采用自回归LM的模式。就是说，看上去输入句子X仍然是自左向右的输入，看到 w t w_{t} wt​单词的上文Context_before，来预测 w t w_{t} wt​这个单词。但是又希望在Context_before里，不仅仅看到上文单词，也能看到 w t w_{t} wt​单词后面的下文Context_after里的下文单词，这样的话，Bert里面预训练阶段引入的Mask符号就不需要了，于是在预训练阶段，看上去是个标准的从左向右过程，Fine-tuning当然也是这个过程，于是两个环节就统一起来。那么，应该如何修改呢？说起来也很简单，那就是我随机重排输入的单词序列不就行了么，这样后面的单词有概率被分到前面去，这不就相当于看到上下文了么？XLNet正是这么做的，在论文中被称为Permutation Language Model。

 以上图为例，输入序列为 x 1 , x 2 ,

最低0.47元/天 解锁文章
6.5bert的家族成员-百度的ERNIE,ERNIE2.0,清华的ERNIE,RoBERTa,BERT-WWM,UniLM,MASS,TinyBERT,ELECTRA,SpanBERT
炫云云
05-06 397
文章目录百度的ERNIEERNIE 2.0清华的ERNIERoBERTaBERT-WWMUniLMMASSELECTRASpanBERTMT-DNN参考 语言模型的预训练已导致显着的性能提升，但是不同方法之间的仔细比较是具有挑战性的。 训练在计算上很昂贵，通常是在不同大小的私人数据集上进行的，超参数的选择对最终结果有重大影响。不同的训练方式又诞生出不同的模型，有的模型还在参数上进行优化，使得模型更轻更快，来看看都有哪些不同的预训练模型吧 下面是这篇文章的总结： 百度的ERNIE ERNIE12将BERT
6.6 BERT家族02——sentence-BERT、BioBERT
炫云云
05-08 648
文章目录sentence-BERTBioBERT参考 sentence-BERT 各大预训练模型如GPT-2，Robert，XLNet，Transformer-XL，Albert，T5等等层数不穷。但是几乎大部分的这些模型均不适合语义相似度搜索，也不适合非监督任务，比如聚类。而解决聚类和语义搜索的一种常见方法是将每个句子映射到一个向量空间，使得语义相似的句子很接近。 说到这，可能有的人会尝试将整个句子输入预训练模型中，得到该句的句向量，然后作为句子的句向量表示。但是这样得到的句向量真的好吗？在论文123就指
BERT家族：ALBERT
qq_32223859的博客
05-25 441
ALBERT 论文：《ALBERT: A Lite BERT For Self-Supervised Learning Of Language Representations》 论文地址：https://arxiv.org/pdf/1909.11942 作者/机构：google 年份：2019.9 采用了全新的参数共享机制，反观其他升级版BERT模型，基本都是添加了更多的预训练任务，增大数据量等轻微的改动。这次ALBERT的改进，不仅提升了模型的整体效果再一次拿下来各项榜单的榜首，而且参数量相比B
BERT家族的那些事——简介篇
weixin_44686520的博客
10-06 458
BERT家族的那些事——简介篇 2018年10月谷歌公司AI团队发布了BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩，并且横扫11种不同NLP任务，BERT模型的提出为NLP领域带来了里程碑式的改变，更加证明了pretrain+fine-tune这条路的可行性，之后会有越来越多的同行者加入进来。 BERT模型虽然表现惊艳，但也有其不足之处，BERT模型提出后的两年内，各种BERT的改进模型纷纷提出，效果和性能各种碾压BERT，本系列文章将会介绍BERT模型的三种改进版，具体如下：
BERT家族：族长BERT
qq_32223859的博客
05-25 478
自18年底谷歌BERT问世以后，NLP便逐渐步入bert时代，bert家族儿孙满堂，如RoBERTa、ALBert、ERNIE等等，这些bert们正在给并持续给nlp领域输入无限生机，让人工智能皇冠上的明珠更加光彩夺目，在其光芒的照耀下，人类的人工智能之路必定越来越清晰、明朗。 通过阅读大量博客资料，知乎专栏和论文，文本以通俗易懂而不失专业的方式总结了Bert以及其13个衍生版本，分享给大家，不足之处，望请指出。后期会不定期分享各个版本bert的详细解读以及实战代码，敬请期待。 1.BERT 论文：.
BERT家族：StructBERT
qq_32223859的博客
05-27 603
StructBERT 论文：《STRUCTBERT: INCORPORATING LANGUAGE STRUCTURES INTO PRE-TRAINING FOR DEEP LANGUAGE UNDERSTANDING》 论文地址：https://arxiv.org/pdf/1908.04577 作者/机构：阿里巴巴 年份：2019.9 StructBERT 是将语言结构信息融入进Bert,来提高其性能,其主要是增加了两个基于语言结构的训练目标：词序(word-level ordering)重构
NLP顶流预训练模型：BERT家族的探索与实战应用指南
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练语言表示模型，由Google在2018年推出，它在自然语言处理（NLP）领域带来了革命性的变化。BERT的出现标志着NLP从规则或基于特征工程的...
Transformers-Bert家族系列算法汇总
源代码杀手的博客
09-13 870
🤗 Transformers 提供 API 和工具，可轻松下载和训练最先进的预训练模型。使用预训练模型可以降低计算成本、碳足迹，并节省从头开始训练模型所需的时间和资源。📝 自然语言处理：文本分类、命名实体识别、问答、语言建模、摘要、翻译、多项选择和文本生成。操作指南介绍如何实现特定目标，例如微调语言建模的预训练模型或如何编写和共享自定义模型。概念指南提供了更多关于变形金刚模型🤗、任务和设计理念背后的基本概念和想法的讨论和解释。主类详细介绍了最重要的类，如配置、模型、分词器和管道。
BERT家族：XL-NET
qq_32223859的博客
05-25 378
XL-Net 论文：《XLNet: Generalized Autoregressive Pretraining for Language Understanding》 论文地址：https://arxiv.org/pdf/1906.08237v1 作者/机构：CMU+google 年份：2019.6 XL-NET主要是通过改变MLM了训练的方式,来提高Bert的性能，提出了自回归（AR，autoregressive）语言模型训练方法，另外还针对长文本任务将transformer替换为tran
BERT家族：ELECTRA
qq_32223859的博客
05-26 371
ELECTRA 论文：《Efficiently Learning an Encoder that Classifies Token Replacements Accurately》 论文地址：https://openreview.net/attachment?id=r1xMH1BtvB&name=original_pdf 作者/机构：斯坦福+google 年份：2019.11 ELECTRA对Bert的改进最主要的体现在是提出了新的预训练任务和框架，把生成式的Masked language
【李宏毅】Bert家族
SofiaT的博客
04-23 794
bert家族笔记
bert家族系列之bert
lcomecon的博客
04-23 322
接着公司项目相对没有那么忙的空档，梳理一下相关的文档，便于后续的回顾与学习。 BERT: Bidirectional Encoder Representation from Transformers 有一种说法，NLP任务分成两部分，预训练产生词（字）向量和对词向量进行操作；体现在的bert中就是预训练网络作为产生词向量的网络，然后fine-tune就是对词向量操作（NLP的下游任务） 一、预训练网络 1. 词向量模型： 词向量的进化史，是从word2vec—> ELMo ----> BERT
课节9：BERT和它的家族-介绍和微调
weixin_43631284的博客
04-14 449
李宏毅NLP课程 课节9：BERT和它的家族-介绍和微调
万字长文带你纵览 BERT 家族
qq_32223859的博客
05-26 1873
目录 1.BERT 1.1概述 1.2模型解读 1.3BERT的特点 1.4用法 2.BERT的后代 2.1XL-Net 2.2RoBERTa 2.3ALBERT 2.4ELECTRA 2.5ERNIE 2.6BERT-WWM 2.7SpanBERT 2.8 TinyBERT 2.9DistillBERT 2.10sentence-BERT 2.11K-BERT 2.12SemBert 2.13StructBERT 自18年底谷...
李宏毅自然语言处理——BERT和它的家族
日积月累，天道酬勤
08-14 932
本文介绍了什么是预训练模型；如何接上其他模型进行微调；以及如何训练预训练模型。
BERT家族的那些事——XLNet篇
weixin_44686520的博客
10-06 750
本文是BERT家族系列文章的第一篇，也是NLP生涯的第一篇文章，主要是自己对于XLNet模型的一些理解，长文高能预警，写的不好的地方还请大佬们多多指教。 目录 XLNet模型简介 XLNet模型结构 1.PLM 2.TransformerXL 总结 XLNet模型简介 2018年10月谷歌推出BERT模型，性能上碾压了之前几乎所有的NLP模型，在11项NLP任务上表现优异，但BERT模型也有其不足之处，其改进版XLNet模型在众多数据集上的效果相较于BERT提高了5%-15%，下面让我们来一探究竟，一起
丑憨批的NLP笔记BERT前置：ATUO encoder，DAE
weixin_44382711的博客
02-19 391
ATUOEncoder 深度学习：什么是自编码器（Autoencoder） DAE 降噪自动编码器（Denoising Autoencoder)
BERT家族的那些事——RoBERTa篇
weixin_44686520的博客
10-11 4889
本文是BERT家族系列文章的第二篇，主要是自己对于RoBERTa模型的一些理解，写的不好的地方还请大佬们多多指教。 目录 RoBERTa简介 RoBERTa模型结构 模型结构层面的修改 数据层面的修改 总结 RoBERTa简介 RoBERTa全称：“A Robustly Optimized BERT Pretraining Approach”，从名字上可以看出RoBERTa是对BERT模型做了若干改进。RoBERTa模型在众多数据集上的效果相较于BERT提高了5%-20%， RoBERTa模型结构 Ro
Bert模型精讲
futurewq的博客
06-16 1537
Autoregressice语言模型：指的是依据前面(或后面)出现的单词来预测当前时刻的单词，代表有ElMo, GPT等。Autoencoder语言模型：通过上下文信息来预测被mask的单词，代表有BERT,Word2vec(CBOW)。BERT模型作为当今NLP应用大杀器，具有易于使用、稳定性强等诸多优点。本文深入了解BERT的原理，如何做到BERT的预训练改进以及Fine-tuning中所涉及到的常见改进策略。另外，本文也讲述了BERT模型在实际场景中的应用及在实践中的一些tricks.
bert模型版本
最新发布
03-15
### BERT模型的不同版本及其特点 BERT（Bidirectional Encoder Representations from Transformers）自2018年发布以来经历了多个版本的迭代和发展。以下是主要版本的区别和特点： #### 原始版 BERT (Base 和 Large) 原始版 BERT 是由 Google 提出的一种基于 Transformer 的双向预训练语言模型[^3]。其核心特点是通过 Masked Language Model (MLM) 实现双向上下文建模，从而更好地捕捉词义的语境信息。 - **BERT Base**: 参数量较小，适合资源受限场景下的应用。包含 12 层 Transformer 编码器，隐藏层大小为 768 维，总参数约为 1.1 亿。 - **BERT Large**: 参数量更大，性能更强，但计算成本更高。包含 24 层 Transformer 编码器，隐藏层大小为 1024 维，总参数约为 3.4 亿。 这两种版本的主要差异在于模型规模和复杂度，而它们都采用了相同的双向训练机制[^1]。 --- #### RoBERTa (Robustly Optimized BERT Approach) RoBERTa 是 Facebook 对 BERT 进行优化后的改进版本。相比原始 BERT，RoBERTa 主要在以下几个方面进行了调整： - 使用更大的数据集进行预训练，提升了模型的语言理解和泛化能力。 - 移除了 Next Sentence Prediction (NSP) 任务，专注于 MLM 任务。 - 动态改变遮蔽策略以增加多样性，减少过拟合风险。 - 训练时间更长，进一步提高了模型质量。 这些改动使 RoBERTa 在许多 NLP 任务上的表现优于原始 BERT[^4]。 --- #### DistilBERT DistilBERT 是 Hugging Face 开发的一个轻量化版本的 BERT 模型。它通过对原生 BERT 进行知识蒸馏来减小模型尺寸并加速推理过程，同时保持较高的准确性。 - 只有 6 层 Transformer 编码器，相较于 BERT Base 减少了近一半的层数。 - 推理速度更快，占用内存更少，适用于移动设备或其他低功耗环境。 - 性能在某些下游任务中接近甚至达到 BERT Base 的水平。 尽管体积缩小了，但它仍然保留了大部分重要的特征表示能力。 --- #### ALBERT (A Lite BERT) ALBERT 是谷歌提出的另一种高效变体，旨在解决 BERT 中存在的冗余问题。具体来说，ALBERT 将嵌入矩阵与其他权重分离，并共享跨层的参数，以此降低存储需求和提高效率。 - 利用 Factorized Embedding Parameterization 技术分解词汇表嵌入维度，减少了参数数量。 - 跨层参数共享降低了整体网络复杂度。 - 即便如此，依然能够在 GLUE 等基准测试集中取得优异成绩。 由于上述设计决策，ALBERT 成为了一个非常经济实惠的选择，在不牺牲太多效果的前提下极大地节省了资源消耗。 --- #### ELECTRA ELECTRA 并不是严格意义上的 BERT 家族成员，但由于它是从类似的架构发展而来，所以经常被提及在一起比较。该方法采用生成对抗网络的思想构建了一个判别式的微调框架。 - 替代传统的预测缺失单词方式，转而让模型判断给定词语是否真实存在原文当中。 - 结果表明此技术路径能带来更好的样本利用率以及最终的效果提升。 虽然不属于标准定义下的一系列演变产物之一，但是因为与其紧密关联的关系也被纳入讨论范围之内。 ```python from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') text = "Replace me by any text you'd like." encoded_input = tokenizer(text, return_tensors='pt') output = model(**encoded_input) print(output.last_hidden_state.shape) ``` 以上代码展示了如何加载 `bert-base-uncased` 预训练模型并获取最后一层隐状态张量形状的例子[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值