Raki的读paper小记：ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS

最新推荐文章于 2025-01-04 01:00:00 发布
最新推荐文章于 2025-01-04 01:00:00 发布
阅读量2.3k 收藏
点赞数
分类专栏： NLP 读paper 文章标签： 自然语言处理 深度学习 机器学习 bert 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Raki_J/article/details/123576273
版权

Abstract & Introduction & Related Work

  • 研究任务
    • 预训练语言模型
  • 已有方法和相关工作
  • 面临挑战
    • 虽然它们在转移到下游的NLP任务时产生了很好的结果，但它们通常需要大量的计算才能有效
  • 创新思路
    • 我们提出了一个更有样本效率的预训练任务，叫做替换token检测。我们的方法不是mask输入，而是通过用从小型生成器网络中抽样的合理的替代物来替换一些token来破坏它
    • 我们不是训练一个预测被破坏的token的原始身份的模型，而是训练一个判别模型，预测被破坏的输入中的每个token是否被一个生成器样本所取代
  • 实验结论
    吊打BERT，跟RoBERTa和XLNet有差不多的性能，并且只用了1/4的参数量
    Electra Large打败了ALBERT

在这里插入图片描述

METHOD

token替换检测：生成器可以是任何能产生token输出分布的模型，但我们通常使用一个小型的掩码语言模型，与鉴别器共同训练。尽管这些模型的结构与GAN相似，但由于GAN难以应用于文本，我们用极大似然估计而不是对抗法来训练生成器。在预训练之后，我们扔掉生成器，只对判别器（ELECTRA模型）进行微调
在这里插入图片描述
我们的方法训练两个神经网络，一个生成器G和一个判别器D

e是embedding，对于一个位置t生成器输出 x t x_t x

最低0.47元/天 解锁文章
论文笔记 _ ELECTRA_ Pre-training Text Encoders as Discriminators Rather than Generators
u011150266的博客
06-26 305
作者：韩 单位：燕山大学 论文地址：https://openreview.net/pdf?id=r1xMH1BtvB 目录一、前言二、概述三、方法四、实验 一、前言   BERT类的掩码语言建模(MLM)方法在下游 NLP 任务上产生了出色的结果，但它们需要大量的计算才能有效。这些方法通过用 [MASK] 替换一些令牌来破坏输入，然后训练模型以重建原始令牌。作为替代方案，本文提出了一种更加 sample-efficient 的预训练任务，称为 replaced token detection ...
文献记录 - ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS
weixin_42681868的博客
06-08 319
文献地址： PDF链接 主要内容： electra模型的构思动机，预训练效率，微调效果。 摘要 bert预训练过程中使用的mlm学习词语表示，效果还是不错的，但是不仅需要的大量的数据，并且需要大量的算力。本文提出新的预训练方法叫做《replaced token detection》，可以更高效的利用数据。 在mlm任务中的两个步骤： 1 >> 随 机mask 15%的token，2 >> 预测这些token 。。。在本文中改为：1 >> 生成toekn替换原token，
ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS
desperado29
05-12 1366
摘要 诸如BERT之类的Masked 语言模型（MLM，masked language modeling）预训练方法通过用[MASK]替换一些标记来改变输入，然后训练模型以重建原始标记。尽管它们在转移到下游NLP任务时会产生良好的结果，但它们通常需要大量计算才能有效。作为替代方案，我们提出了一种更有效的样本预训练任务，称为替换令牌检测（RTD, replaced token detection）。我们的方法不是掩盖输入，而是通过使用从小型生成器网络进行可行的替代词汇的采样，来替换一些tokens来改变输入。
ELECTRA: PRE-TRAINING TEXT ENCODERSAS DISCRIMINATORS RATHER THAN GENERATORS——预训练文本编码器作为判别器而非生成器
最新发布
Together_CZ的博客
01-04 877
ELECTRA: PRE-TRAINING TEXT ENCODERSAS DISCRIMINATORS RATHER THAN GENERATORS——预训练文本编码器作为判别器而非生成器
ELECTRA:Pre-training Text Encoders as discriminators Rather than Generators
Fan9_的博客
05-17 420
摘要： ​ Masked language model(MLM)预训练任务（如bert）通过使用[MASK]标记随机替换token来破坏输入（corrupted input）。虽然这种做法在下游任务可以得到较好的结果。但是只在大规模计算的前提下是有效的。本文提出了一种更加高效的预训练任务称为Replaced token detection。它不是使用[mask]随机替换，而是使用一个生成器以更加合理的方式去随机替换token来破坏输入。之后，不是去预测被破坏输入的原始标记，而是训练一个判别器，去预测被破坏输
ELECTRA: Pre-training Text Encoders as Discriminators rather than Generators
qq_38317254的博客
06-15 510
ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately): 将文本编码器预训练为判别器而不是生成器 Bert的MLM（Masked language modeling），通过用[MASK]替换输入token文本，然后训练一个模型来重建原始的token，在下游任务中表现的非常好，但是需要大量的计算。于是ELECTRA提出：replaced token detection。 并不通过[MASK
《ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS》论文笔记
weixin_44815943的博客
05-16 421
ELECTRA 提出“替换词检测” 预训练任务，在计算损失时，考虑全部输入， 而非 MLM 中15%的输入；另一方面解决了[MASK] 在预训练与Fine-Tuning 阶段不一致的问题。   替换词检测 替换词检测任务采用如下结构： 生成器理论上可以采用任何模型，论文中采用的是Transformer Encoder，并进行 MLM 任务。MLM 任务会给出一个新的输入序列，这个新的输入序列会作为判别器的输入， 判别器的任务是检查新输入中的词是否是替换词，即对每一个词进行二分类。最终预训练的损失
Raki的读paper小记：SpanBERT: Improving Pre-training by Representing and Predicting Spans
Raki_J的博客
03-18 708
Abstract & Introduction & Related Work 研究任务 一种预训练方法，旨在更好地表示和预测文本的span 已有方法和相关工作 面临挑战 创新思路 在BERT的基础上，mask连续的随机span而不是tokens 训练span边界表征来预测被mask的span的全部内容，而不依赖其中的单个token表征 实验结论 在同样的训练数据下，在QA数据集上达到了sota 为了实现SpanBERT，我们建立在BERT的一个精心调整的副本上，它本身
【论文笔记electra】ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS
yuexiaomao的博客
10-29 509
代码： https://huggingface.co/transformers/model_doc/electra.html ABSTRACT 论文提出了一种高效的基于抽样的预训练任务——替换标记检测。对于一些可以被替换的tokens，用一个小生成网络（generator network ）抽样出token进行替换。接着，作者没有用模型从原始语料库中预测这些被替换的词，而是训练了一个判别模型（discriminative model ），来判断输入中的token是不是被生成网络替换了。 新模型.
Raki的读paper小记：Dice Loss for Data-imbalanced NLP Tasks
Raki_J的博客
03-18 1183
Abstract & Introduction & Related Work 研究任务 数据不平衡的NLP任务 已有方法和相关工作 面临挑战 负样例明显多于正样例，而且大量的容易负面的例子压倒了训练。最常用的交叉熵标准实际上是以准确性为导向的，这在训练和测试之间产生了差异。在训练时，每个训练实例对目标函数的贡献是相同的，而在测试时，F1得分更多关注的是正面实例 创新思路 将交叉熵损失函数替换成dice loss 为了进一步减轻训练中来自容易负样例例子的支配性影响，我们建议将训
ELECTRA：Pre-training Text Encoders as Discriminators Rather Than Generators（2020-3-23）
weixin_49346755的博客
08-04 542
ELECTRA提出了一个新的预训练任务Replaced Token Detection（RTD），它的目标是学习区分输入的词。这个方法不采用mask，而是通过使用生成网络来生成一些合理替换字符来达到破坏输入的目的。然后，训练一个判别器模型，该模型可以预测当前字符是否被语言模型替换过。判别任务的一个好处是模型从输入的所有词中学习，而不是MLM中那样仅使用掩盖的词，因此计算更加有效。ELECTRA模型结构类似于GAN，包括两个神经网络：一个生成器G和一个判别器D，两者都采用形如Transformer的。....
《ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators》（ICLR-2020）论文阅读
qq_34372112的博客
09-20 585
前言 论文地址：https://openreview.net/forum?id=r1xMH1BtvB 代码地址：https://github.com/google-research/electra Abstract 就跟题目里说的一样，它将目标放在了 Discriminator 上了，换句话说，它跟 GAN 的结构相似，但是判别器是语言模型，然后最终用的也是判别器。 1、Introduction 像 Bert 这种，使用 mask 的方式来训练，的确能取得很好的效果，但是需要大量的算力，比如每次用 15
ELECTRA模型详解
fzz97_的博客
03-12 2830
从原论文出发，主要介绍了预训练模型ELECTRA的原理和结构，通过实验证明了其有效性和创新性。
NLP之ELECTRA：ELECTRA的简介、安装和使用方法、案例应用之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-01 1万+
​ NLP之ELECTRA：ELECTRA的简介、安装和使用方法、案例应用之详细攻略 目录 相关论文 ELECTRA的简介 ELECTRA的安装和使用方法 ELECTRA的案例应用 相关论文 《ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators》翻译与解读 地址 论文地址：https://arxiv.org/abs/2003.10555 时间 2020年3月23
Raki的读paper小记：SUBSPACE REGULARIZERS FOR FEW-SHOT CLASS INCREMENTAL LEARNING
Raki_J的博客
02-25 1049
Abstract & Introduction & Related Work 研究任务 已有方法和相关工作 Few-shot and incremental learning Learning class representations Learning with side information from language 面临挑战 创新思路 这种方法的关键是一个新的子空间正则化方案系列，它鼓励新类的权重向量接近于现有类的权重所跨越的子空间，可以直接扩展以纳入关于新类的额外背景信息
electra_pytorch：使用fastai和gearingface进行预训练和微调ELECTRA。 （论文结果重复！）
02-03
非官方的PyTorch实现 Kevin Clark的。 Minh-Thang Luong。 Quoc V. Le。 克里斯托弗·曼宁 复制结果 我从头开始对ELECTRA-small进行了预培训，并已在GLUE上成功复制了论文的结果。 模型 可乐 SST MRPC STS QQP MNLI 秦皇岛 RTE 平均的平均值 电子小OWT 56.8 88.3 87.4 86.8 88.3 78.9 87.9 68.5 80.36 ELECTRA-Small-OWT（我） 58.72 88.03 86.04 86.16 88.63 80.4 87.45
 ELECTRA
weixin_41021342的博客
12-30 2548
ELECTRA 一、 ELECTRA是什么 ELECTRA是谷歌提出的一种预训练模型。全称（Efficiently Learning an Encoder that Classifies Token Replacements Accurately.） 论文：ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS 使用判别式而非生成式的预训练文本编码器。 二、 ELECTRA模型结构 ...
阅读笔记 -- ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS
JaydeeMa的博客
11-21 2317
本文的主要贡献： 将BERT与类似于GAN的结构相结合，并辅以新的预训练任务来做预训练 – 在更少的参数量和数据下，效果超越BERT，并且仅用1/4的算力就达到了SOTA模型RoBERTa的效果： Introduction： 当下流行的MLM（Masked Language Modeling）方法会大大增加计算开销，原因：模型只学到每个example中15%的tokens信息，而且有些token...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值