ELECTRA通过引入Replaced Token Detection任务，替代BERT的Masked Language Modeling，以更高效的方式进行预训练。在减少参数量和计算开销的情况下，ELECTRA达到了甚至超过RoBERTa的效果。它采用了一个基于MLM的生成器替换部分tokens，然后由判别器判断是否被替换，形成了一种NLP领域的Generator-Discriminator结构。实验表明，共享embedding层权重并适当调整生成器大小能优化模型性能。ELECTRA在多个NLP任务上表现出色，展示了其在细粒度语义表示方面的优势。
本文的主要贡献：
将BERT与类似于GAN的结构相结合，并辅以新的预训练任务来做预训练 – 在更少的参数量和数据下，效果超越BERT，并且仅用1/4的算力就达到了SOTA模型RoBERTa的效果：
Introduction：
- 当下流行的MLM（Masked Language Modeling）方法会大大增加计算开销，原因：模型只学到每个example中15%的tokens信息，而且有些token可能会很简单。
- 因此，我们创新性地提出了RTD （Replaced Token Detection）这样的新的预训练任务。
- ELECTRA – Efficiently Learning an Encoder that Classifies Token Replacements Accurately
- 先来看一下效果：
Methods：
-
NLP式的Generator-Discriminator：
最低0.47元/天 解锁文章
259
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
