BERT改进版对比：RoBERTa、DistilBERT、ALBERT、ELECTRA 以及 DeBERTa

已于 2024-11-30 18:39:08 修改
阅读量2.4k 收藏 33
点赞数 37
分类专栏： NLP&机器学习 文章标签： bert 人工智能 深度学习 自然语言处理 llm
于 2024-11-30 18:34:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36803941/article/details/144158695
版权

文章目录

0. 引言

本文对比介绍几类 BERT 改进版模型： RoBERTa、DistilBERT、ALBERT、ELECTRA 以及 DeBERTa，下面表格是汇总一览：

序号名称年份核心思想
1RoBERTa2019增添数据集及训练批次、移除 NSP 目标、采用动态 Masking、采用字节级 BPE 词汇表
2DistilBERT2020采用知识蒸馏技术精简 BERT 模型
3ALBERT2020通过因子化嵌入参数化和跨层参数共享减少参数、移除 MLM 并增加 SOP
4ELECTRA2020采用生成器+判别器。生成器生成新的 token、判别器来区分生成的 token
5DeBERTa2021预训练采用分离注意力机制和增强型掩码解码器，微调阶段采用虚拟对抗训练方法

1. RoBERTa

1.1 概览

RoBERTa，来源于2019年论文*《RoBERTa: A Robustly Optimized BERT Pretraining Approach》*，是一种对 BERT 预训练方法的改进。它通过对 BERT 模型的预训练过程进行细致的调整和优化，以提高模型在各种自然语言处理任务上的性能。RoBERTa 的主要目标是通过对关键超参数和训练数据大小的影响进行仔细的测量，从而提出一种改进的 BERT 训练方法，这种方法能够匹配或超过 BERT 模型的性能。

论文：https://arxiv.org/pdf/1907.11692

1.2 改进点

RoBERTa 相对于原始 BERT 模型的改进点主要包括：

1.2.1 数据集

包含 BOOKCORPUS、CC-NEWS、OPENWEBTEXT、STORIES。研究者们收集了一个大型的新数据集 CC-NEWS，这个数据集包含了大量的新闻文章。

1.2.2 更大批次

训练更长时间，使用更大的批次大小，覆盖更多的数据。

从实验可以看出，大批次训练降低了掩蔽语言建模（masked language modeling）目标的困惑度，以及最终任务的准确性。大批量处理也更容易通过分布式处理进行数据并行训练，RoBERTa 后来的实验中用 8K 序列批量训练。

1.2.3 移除NSP目标

移除了 BERT 的 NSP（Next Sentence Prediction）目标 。

  1. **SEGMENT-PAIR+NSP：**原始 BERT 使用的输入格式，其中包含两个段落，中间用特殊的分隔符 [SEP] 隔开；
  2. **SENTENCE-PAIR+NSP：**与 SEGMENT-PAIR+NSP 类似，但输入由一对自然句子组成，而不是段落，句子可以来自同一个文档的连续部分，或者来自不同的文档；
  3. **FULL-SENTENCES（无 NSP）：**输入由完整的句子组成，这些句子连续从一个或多个文档中采样。当达到一个文档的末尾时，模型会开始从下一个文档中采样句子，并在文档之间添加额外的分隔符。这种格式去除了 NSP 目标，因为它假设输入的连续性不再是预测任务的一部分。
    **4. DOC-SENTENCES（无 NSP）：**与 FULL-SENTENCES 类似，但它限制输入不能跨越文档边界。

从实验可以看出，无 NSP 的模型在 SQuAD 数据集上评测效果表现整体更好，其中 DOC-SENTENCES 输入格式效果则更佳。然而，由于 DOC-SENTENCES 导致批次大小可变，在其余的实验中使用 FULL-SENTENCES，以便于与相关工作进行比较。

1.2.4 采用动态 Masking 模式

训练时采用动态 Masking 模式

原始 BERT 模型在数据预处理阶段对每个样本只进行一次掩码操作，这可能导致模型在训练过程中多次看到相同的掩码模式。RoBERTa 通过动态改变掩码模式，即每次将数据输入模型时都重新生成掩码，增加了训练数据的多样性，迫使模型学习更加鲁棒的特征。

1.2.5 采用字节级BPE词汇表

使用更大的字节级 BPE （Byte-Pair Encoding）词汇表，而不是基于字符的 BPE 词汇表。

BERT 原始模型使用的是基于字符的 BPE 的 30K 词汇表，这限制了词汇表的大小和覆盖范围。RoBERTa 采用了一个更大的字节级 BPE 50K 词汇表，这允许模型处理更多样化的词汇，包括罕见词和专有名词，而不需要将它们替换为“unknown”标记。

2. DistilBERT

2.1 概览

DistilBERT 来源于2020年论文 《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》，在预训练阶段使用知识蒸馏技术将 BERT 模型精简。DistilBERT 在保持 BER T模型97%的语言理解能力的同时，减少了40%的模型大小，并且在推理速度上提高了60%。DistilBERT 不仅体积更小、速度更快，而且成本更低，更适合在设备上进行计算。

论文：https://arxiv.org/pdf/1910.01108

2.2 改进点

DistilBERT 核心的思想是知识蒸馏，所以这里主要介绍下知识蒸馏的核心流程。

《Distilling the Knowledge in a Neural Network》 是关于知识蒸馏（Knowledge Distillation）技术的重要论文，由 Hinton 等人于2015年提出。这篇论文详细介绍了如何将一个大型的、复杂的机器学习模型（教师模型）的知识转移到一个较小的模型（学生模型）中，从而使小模型能够在保留大部分性能的同时拥有更高的效率。

2.2.1 核心思想

知识蒸馏的核心思想是利用教师模型的软标签（soft labels）来训练学生模型。这里的软标签（soft labels）是指教师模型对输入数据预测的概率分布，传统的硬标签（hard labels）是指真实的分类标签。

（1）软标签（Soft Labels）
教师模型对输入样本的预测输出是一个概率分布，而不是单一的类别标签。这种概率分布包含了教师模型对于各个类别的置信度，比硬标签提供了更多关于类间关系的信息。

（2）温度参数（Temperature Parameter）
为了使概率分布更加平滑，引入了一个温度参数 T T T，它可以放大或缩小教师模型输出的 softmax 函数的值。
q i = e z i T ∑ e z i T q_i = \frac{e^{\frac{z_i}T}}{\sum e^{\frac{z_i}T}} qi​=∑eTzi​​eTzi​​​

  • 较低的温度 T T T 更接近标准的 softmax 输出，当 T = 1 T=1 T=1 是就是标准的 softmax；
  • 较高的温度 T T T 会使概率分布更加平滑，更容易被学生模型学习；

（3）损失函数（Loss Function）
在知识蒸馏中，蒸馏的学生模型，既希望能学习到教师模型的概率分布情况（soft labels），又能预测偏向真实情况（hard labels），于是 loss 可以分成两项交叉熵之和：
l o s s = α H ( t e a c h e r ( x ) , s t u d e n t ( x ) ) + ( 1 − α ) H ( t a r g e t , s t u d e n t ( x ) ) loss = \alpha H(teacher(x),student(x)) + (1- \alpha) H(target,student(x)) loss=αH(teacher(x),student(x))+(1−α)H(target,student(x))

其中：

  • H ( t e a c h e r ( x ) , s t u d e n t ( x ) ) H(teacher(x),student(x)) H(teacher(x),student(x)) 是教师模型与学生模型的交叉熵
  • H ( t a r g e t , s t u d e n t ( x ) ) H(target,student(x)) H(target,student(x)) 是学生模型与真实情况的交叉熵
  • α \alpha α 是一个超参数，用来平衡两个损失项的权重

（4）举例

  • 教师模型输出的概率结果是： [ 0.1 , 0.4 , 0.5 ] [0.1, 0.4, 0.5] [0.1,0.4,0.5]，即是第一项的概率为0.1，第二项的概率为0.4，第三项的概率为0.5
  • 学生模型输出的概率结果是： [ 0.11 , 0.43 , 0.46 ] [0.11, 0.43, 0.46] [0.11,0.43,0.46]，即是第一项的概率为0.11，第二项的概率为0.43，第三项的概率为0.46
  • 真实的结果是： [ 0 , 0 , 1 ] [0,0,1] [0,0,1]，即实际情况就是对应第三项
  • 假设 α = 0.7 \alpha = 0.7 α=0.7

则：
l o s s = − 0.7 ∗ ( 0.1 ∗ l o g ( 0.11 ) + 0.4 ∗ l o g ( 0.43 ) + 0.5 ∗ l o g ( 0.46 ) ) − 0.3 ∗ l o g ( 0.46 ) loss = -0.7 * (0.1*log(0.11)+0.4*log(0.43)+0.5*log(0.46))-0.3*log(0.46) loss=−0.7∗(0.1∗log(0.11)+0.4∗log(0.43)+0.5∗log(0.46))−0.3∗log(0.46)

3. ALBERT

3.1 概览

ALBERT，来源于2020年论文 《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》，提出了 ALBERT（A Lite BERT），一种用于自监督学习的语言表示模型。ALBERT 通过两种参数减少技术降低了 BERT 模型的内存消耗并提高了训练速度，同时引入了句子顺序预测（SOP）的自监督损失，专注于建模句子间的连贯性。

论文：https://openreview.net/pdf?id=H1eA7AEtvS

以下是参数对比：

3.2 改进点

3.2.1 因子化嵌入参数化

因子化嵌入参数化（Factorized Embedding Parameterization）。
在 BERT 模型中，词汇嵌入（WordPiece embeddings）的大小与隐藏层（hidden layer）的大小是相等的，即 $E \equiv H$。这种设计在建模和实际应用中存在一些局限性：

  1. 建模角度： 词汇嵌入旨在学习上下文无关的表示，而隐藏层嵌入旨在学习上下文相关的表示。BERT 的强大之处在于利用上下文信息来学习这些上下文相关的表示。因此，将词汇嵌入大小 $E$ 与隐藏层大小 $H$ 分离，可以更高效地利用模型参数，因为通常 $H$ 远大于 $E$。

  2. 实际应用角度： 自然语言处理通常需要较大的词汇表。如果 $E \equiv H$，那么增加 $H$ 会增加嵌入矩阵的大小，从而导致模型参数数量急剧增加，这在训练时会导致内存消耗过大。

为了解决这些问题，ALBERT 采用了因子化嵌入参数化技术:

  1. 将嵌入参数分解为两个较小的矩阵。ALBERT 不是直接将 one-hot 向量投影到大小为 $H$ 的隐藏空间，而是首先将它们投影到一个较低维度的嵌入空间（大小为 $E$），然后再投影到隐藏空间。
  2. 通过这种分解，嵌入参数从 $O(V \times H)$ 减少到 $O(V \times E + E \times H)$，当 $H$ 远大于 $E$ 时，这种参数减少是显著的。

3.2.2 跨层参数共享

在 ALBERT 模型中，为了进一步提高参数效率并减少模型大小，采用了跨层参数共享（Cross-Layer Parameter Sharing） 技术。这种技术的核心思想是在模型的所有层之间共享相同的参数集，而不是为每一层独立学习一组参数。具体来说，ALBERT 在所有层之间共享以下参数：

  1. 自注意力层（Self-Attention Layers）：在所有层之间共享自注意力机制的参数，包括 q（query）、k（key）、v（value）矩阵以及注意力输出的线性变换矩阵。

  2. 前馈网络（Feed-Forward Networks, FFN）：在所有层之间共享前馈网络的权重矩阵和偏置项。这意味着每一层的前馈网络使用相同的参数集。

这种跨层参数共享策略有几个优势：

  1. 减少参数数量：通过在所有层之间共享参数，ALBERT 显著减少了模型的总参数数量。一个具有24层的 ALBERT-large 模型，其参数数量远少于具有相同层数的 BERT-large 模型。

  2. 提高训练效率：由于参数数量的减少， ALBERT 在训练时需要更新的参数更少，这不仅减少了内存占用，还加快了训练速度。

  3. 稳定训练过程：跨层参数共享作为一种正则化形式，有助于稳定训练过程，因为它减少了过拟合的风险。此外，参数的共享使得模型在不同层之间保持了一致性，这有助于模型更好地泛化。

  4. 保持表示质量：尽管参数数量减少，但 ALBERT 通过跨层参数共享仍然能够学习到高质量的表示。实验结果表明，ALBERT在多个下游任务上取得了与BERT相当甚至更好的性能。

在 ALBERT 中，跨层参数共享的实现方式是将每一层的参数设置为相同，并在整个网络中重复使用这些参数。这种设计允许模型在保持参数数量可控的同时，捕获不同层次的特征表示，从而在各种自然语言理解任务中取得了优异的性能。

3.2.3 句子顺序预测

在 ALBERT 模型中，除了传统的遮蔽语言模型（Masked Language Modeling, MLM）损失外，还引入了一种新的自监督损失，即**句子顺序预测（Sentence Order Prediction, SOP）**损失。这种损失专注于建模句子间的连贯性，与 BERT 中的下一个句子预测（Next Sentence Prediction, NSP）损失相比，SOP 损失更专注于句子间的逻辑和语义连贯性。

  1. 改进句子间关系的理解：在许多自然语言处理任务中，理解句子间的逻辑和语义关系至关重要。SOP损失通过预测两个连续文本片段的顺序，迫使模型学习句子间的连贯性。

  2. 解决 NSP 的局限性：BERT 中的 NSP 损失旨在预测两个句子是否在原始文本中连续出现。然而，后续研究表明 NSP 的预测效果不稳定，且其任务难度相对较低。SOP 损失通过专注于句子间的连贯性，提高了任务的难度和实用性。

SOP 损失的实现方式如下：

  1. 正例：使用与 BERT 相同的技巧，即从训练语料中选取连续的两个文本片段作为正例。

  2. 负例：将这两个连续的文本片段顺序颠倒，作为负例。这种设计迫使模型学习区分不同顺序下的文本片段，从而更好地捕捉句子间的连贯性。

  3. 损失计算：模型需要预测给定的两个文本片段的原始顺序。这可以通过一个二分类任务来实现，其中模型需要判断两个文本片段的顺序是否正确。

4. ELECTRA

4.1 概览

ELECTRA（“Efficiently Learning an Encoder that Classifies Token Replacements Accurately”），来源于2020年论文 《ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS》，介绍了一种新型预训练文本编码器方法，该方法与传统的基于生成器的预训练方法（如BERT）不同，它采用了一种判别器的视角来进行预训练。ELECTRA 的核心思想是通过替换输入中的某些标记（tokens），而不是将它们掩盖起来，然后训练一个判别模型来预测每个标记是否被替换了。这种方法被称为“替换标记检测”（replaced token detection）。

ELECTRA 模型由两个主要部分组成：一个小型的生成器网络和一个判别器网络。生成器负责生成可能的替换标记，而判别器则负责区分原始标记和生成器生成的替换标记。

论文：https://openreview.net/pdf?id=r1xMH1BtvB

4.2 改进点

ELECTRA 相较于传统的 BERT 模型，在多个方面进行了改进，使其在预训练效率和下游任务表现上都有所提升：

  1. 判别器与生成器的结合：与 BERT 的生成器任务不同，ELECTRA 使用了一个判别器来区分真实的输入标记和生成器生成的假标记。这种判别器任务在计算上更高效，因为它涉及到所有输入标记。

  2. 更小的模型尺寸和更快的训练速度：文章中提到，即使是较小的 ELECTRA 模型（如 ELECTRA-Small），也能在单个 GPU 上快速训练，并且在 GLUE 基准测试中取得了比 BERT 更好的结果。

  3. 计算效率的提升：ELECTRA 在计算效率上也有所提升，它可以在使用更少的计算资源的情况下，达到与 RoBERTa 和 XLNet 相当的性能。此外 ELECTRA 在相同的模型大小、数据和计算资源下，其学习到的上下文表示比 BERT 的更好，特别是在小模型上，ELECTRA 的表现尤为突出。

5. DeBERTa

5.1 概览

DeBERTa，来源于2021年论文 《Decoding-enhanced BERT with disentangled attention》。DeBERTa 模型在预训练阶段引入了分离注意力机制和增强型掩码解码器，以及在微调阶段使用了新的虚拟对抗训练方法来提高模型的泛化能力。

论文：https://arxiv.org/pdf/2006.03654

5.2 改进点

  1. 分离注意力机制（Disentangled Attention）：DeBERTa 模型中，每个单词使用两个向量分别编码其内容和位置信息。这种机制考虑了单词对之间的注意力权重不仅取决于它们的内容，还取决于它们的相对位置。

  2. 增强型掩码解码器（Enhanced Mask Decoder）：DeBERTa 模型在预训练时使用掩码语言模型（MLM），通过周围单词预测被掩码的单词。除了考虑上下文单词的内容和相对位置信息外，DeBERTa 还引入了绝对位置信息，以提高预测的准确性。绝对位置信息在所有 Transformer 层之后和 softmax 层之前被加入，作为解码掩码单词的补充信息。

  1. 虚拟对抗训练方法（Virtual Adversarial Training）：提出了一种新的虚拟对抗训练算法，用于微调预训练语言模型，以提高模型在下游 NLP 任务中的泛化能力。通过在单词嵌入上施加小的扰动来创建对抗性样本，并通过正则化模型使其对这些扰动具有鲁棒性。

参考

[1] https://arxiv.org/pdf/1907.11692

[2] https://arxiv.org/pdf/1910.01108

[3] https://openreview.net/pdf?id=H1eA7AEtvS

[4] https://openreview.net/pdf?id=r1xMH1BtvB

[5] https://arxiv.org/pdf/2006.03654

欢迎关注本人，我是喜欢搞事的程序猿； 一起进步，一起学习；

欢迎关注知乎/CSDN：SmallerFL

也欢迎关注我的wx公众号（精选高质量文章）：一个比特定乾坤

基于的BERT的一些改进模型及思路
triplemeng的博客
01-21 7821
基于的BERT的一些改进模型及思路被遗弃的NSPUnderfitted的BERT数据和批大小的作用Drop掉dropout减少参数的技术嵌入层的参数化方法-- 矩阵分解层间共享参数改头换面的MLM动态掩码ELECTRA再次证明分类任务的优势插入链接与图片如何插入一段漂亮的代码片 BERT的成功主要在于几大因素:超大模型+超大语料；利用Transformer；新的Loss即MLM(Masked La...
BERT、ALBERT、RoBerta、ERNIE模型对比和改进点总结
xuyupeng_sjtu的博客
07-31 3732
BERT、ALBERT、RoBerta、ERNIE模型对比和改进点总结
BERT模型的优化改进方法！
Datawhale
05-25 1802
Datawhale干货来源：Coggle数据科学本文为论文《BERT模型的主要优化改进方法研究综述》的阅读笔记，对 BERT主要优化改进方法进行了研究梳理。BERT基础BERT是由Google AI于2018年10月提出的一种基于深度学习的语言表示模型。BERT 发布时，在11种不同的NLP测试任务中取得最佳效果，NLP领域近期重要的研究成果。BERT基础BERT主要...
BERT（三）——BERT 改进
12-25 1080
先都列出来，有时间再详细整理 BERT-Base BERT-Large BERT-wwm SpanBert SpanBert：对 Bert 预训练的一次深度探索 DistillBERT XLNET 飞跃芝麻街：XLNet 详解 ①AR AE方式结合，通过随机取一句话排列的一种，然后将末尾一定量的词给“遮掩”（和 BERT 里的直接替换 “[MASK]” 有些不同）掉，最后用 AR 的方式来按照这种排列方式依此预测被“遮掩”掉的词。 ②在 BERT 这样的位置信息+内容信.
针对Bert的改进，主要体现在增加训练语料、增添预训练任务、改进mask方式、调整模型结构、调整超参数、模型蒸馏等。
AI生成式技术曾小健
07-15 771
引言上一节我们讲到了BERT，如果要用一句时下正流行的话来形容 BERT 的出现，这句话大概再恰当不过： 一切过往， 皆为序章。Bert出现之后，研究者们开始不断对其进行探索研究，提出来各式的改进版，再各类任务上不断超越Bert。针对Bert的改进，主要体现在增加训练语料、增添预训练任务、改进mask方式、调整模型结构、调整超参数、模型蒸馏等。下面对近年来Bert的改进版本的关键点做叙述。深入浅出语言模型（一）——语言模型及其有趣的应用深入浅出语言模型（二）——静态语言模型（
CVPR 2019 商品识别大赛开赛，快来加入挑战吧
weixin_34010566的博客
04-15 161
雷锋网(公众号：雷锋网) AI 科技评论按，随着网上购物和零售业中的人工智能逐渐能成为我们日常生活中不可分割的一部分，计算机视觉系统必须在库存单位（stock keeping unit，即 SKU）水平上根据图像自动准确地识别产品。 然而，目前这仍然是一个非常具有挑战性的问题，因为存在大量的 SKU 级别类别，其中许多类别都是细粒度的，这些类别之间的差...
bert改进模型梳理
tiantianhuanle的博客
12-17 786
BERT模型构建与训练：最新自然语言处理入门指南
除了BERT本身，本书还会介绍BERT的不同变体，例如ALBERT（A Lite BERT）、RoBERTa（A Robustly Optimized BERT Approach）、ELECTRA（Efficiently Learning an Encoder that Classifies Token Replacements ...
后BERT时代：15个预训练模型对比分析与关键点探究.rar
10-18
这些模型可能包括了ALBERT、RoBERTa、XLM、DistilBERT、Electra、T5等，每个都有其独特的改进点。例如，ALBERT通过因子分解和共享层减少了模型大小，实现了高效且高性能的模型；RoBERTa则通过更长的训练序列和更大的...
Getting-Started-with-Google-BERT:Packt发行的Google BERT入门
05-22
Google BERT入门 这是Packt发布的《 的代码库。... 随着您的前进，您将了解BERT的不同变体，例如ALBERT，RoBERTa和ELECTRA，并查看SpanBERT，它用于NLP任务（如问题解答）。 您还将介绍基于知识提炼的更简单，
基于文本筛选和改进BERT的长文本方面级情感分析
06-23
情感分析旨在分类出文本在不同方面的情感倾向。在长文本的方面级情感分析中，由于长文本存在一定冗余性和噪声大的问题，导致现有的方面级情感分析方法对于长文本中方面相关信息的特征提取不够充分，分类不精准；在方面分层为粗粒度和细粒度方面的数据集上，现有的解决方法没有利用粗粒度方面中的信息。针对以上问题，提出基于文本筛选和改进BERT的算法TFN+BERT-Pair-ATT。该算法首先利用长短时记忆网络（LSTM）和注意力机制相结合的文本筛选网络（TFN）从长文本中直接筛选出与粗粒度方面相关的部分语句，然后将部分语句按次序进行组合，并结合细粒度方面输入至在BERT上增加注意力层的BERT-Pair-ATT中进行特征提取，最后使用Softmax进行情感分类。通过与GCAE(Gated Convolutional Network with Aspect Embedding）、IAN（Interactive Attention Network）等经典模型相比，该算法在验证集上的相关评价指标分别提高了3. 66%和4. 59%；与原始BERT模型相比提高了0. 58%。
人工智能-文本分类-基于Pytorch的文本分类框架，支持TextCNN、Bert、Electra等
06-24
Model 非预训练类模型： FastText TextCNN TextRNN TextRCNN Transformer 预训练类模型 Bert Albert Roberta Distilbert Electra XLNet
Bert改进模型汇总（1）
J~的博客
02-05 6058
目录 Intro ERNIE from Baidu ERNIE from THU Reference Intro Bert自问世以来横扫NLP各大榜单，但Bert模型本身还存在着或多或少的问题，因此后续学术界也针对Bert的缺陷提出了各类改进模型，今天这篇文章我就大致总结下我所了解到的模型。 首先先上两张图，总结的非常好 ERNIE from Baidu 论文地址htt...
Bert系列解读及改进
机器学习，深度学习
03-20 7012
1. Bert Bert是预训练的语言表征模型，其有巨大参数量要求海量监督数据进行训练，这需要大量的人力。因此，Google采用无监督的方式进行训练，具体任务是：MLM（Masked Language Model）和NSP(Next Sentence Prediction)。 1.1 特点 不采用传统单向语言模型或者两个单向语言模型浅层特征拼接的方式进行预训练； 采用MLM任务对双向的Transformers进行预训练，以生成深层的双向语言表征； 预训练后，只需要添加额外的输出层用于下游任务，并进
Bertopology: Bert及其改进型总结
Steve Wang's blog
09-09 1070
BERT自从被提出之后，因为其开源且表现及其优异，工业界开始广泛采用Bert来完成各项NLP的任务。一般来说，Bert都能给我们相当强悍的结果，唯一阻止Bert上线使用的，就是其难以接受的计算复杂度。因此各种模型压缩的方法层出不穷。本篇博客意在总结Bert及其改进型主要的特点，这也是NLP算法面试常见的问题。 Bert使用的激活函数是GELU： 正态分布下GELU(x)，论文给出了近似计算公式: GELU(x)=0.5x(1+tanh[2/π(x+0.044715x3)])GELU(x) = 0.5x(.
SegaBERT论文详解及翻译（全面改进Transformer类预训练模型，自然语言任务超过BERT的SegaBERT，2020年4月论文）
ws_nlp_的博客
06-10 909
SegaBERT论文详解及翻译 摘要 预训练模型取得了SOTA的结果在多种nlp任务中。它们中的大多数基于Transformer结构，使用token的序列输入位置来区分token。然而，句子索引和段落索引对于标识一篇文档中的token位置也同样重要。我们假设使用更好的位置信息做text encoder可以生成更好的篇章表示。为了证实这个观点，我们提出了一个segment-aware BERT，使用了段落索引，句子索引和token索引去代替了transformer中的token位置信息来进行embedding
Bert及Deberta、Roberta的简介
最新发布
ylzf2008的博客
01-11 1516
BERT是最早提出的双向预训练模型，开创了预训练-微调的范式。RoBERTa通过去除 NSP 和增加更多训练数据等优化，提升了 BERT 的性能。DeBERTa通过引入解耦注意力机制和增强的解码器设计，在处理复杂文本时表现得更为强大。这三种模型在 NLP 领域中都有广泛的应用和影响。
【毕业设计】基于 Bert 改进的情感分类
青年有志
05-15 1511
感觉好像是文科生看一本《高等数学》的教材一样，流水账一般，只是背景很好罢了，选择在这样一个竞争激烈的时代，写了那么一个催人奋进的故事，文笔不咋地。读取数据集，查看数据分布，便于设置输入 Bert 时的序列长度，(Bert 本身的限制为不超过 512)三种语言的预训练模型，选择自己需要的下载即可，其他的还有配置文件，以及词库文件等等。版本的），还可以从源码中找到下载链接，然后手动下载，最后还可以从。预训练模型的下载有许多方式，比如从。将下载好的文件放到一个目录里面，比如。官网上下载（官网下载的是。
深度学习笔记之BERT(四)DistilBERT
静静的学习就好
12-07 1288
本节将介绍一种参数、消耗计算资源少的BERT改进模型——DistilBERT模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SmallerFL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值