预训练模型（7）---- ELECTRA

最新推荐文章于 2023-03-12 11:51:40 发布
最新推荐文章于 2023-03-12 11:51:40 发布
阅读量3.6k 收藏 4
点赞数 1
分类专栏： 自然语言处理 预训练模型 文章标签： NLP 预训练模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38937984/article/details/102893601
版权

最近预训练模型的更新真的是让人眼花缭乱，效果一个比一个好，简直堪称神仙打架，我等吃瓜群众只好坐在小板凳上看热闹，时不时的喊上一声“好”。最近到处都能看到ELECTRA的身影，据说可以吊打Bert,今天我们就来看看它到底是何方神圣。

ELECTRA是斯坦福SAIL实验室Manning组的工作，是目前为止效果最好的预训练模型，不仅效果比以前的预训练模型好很多，而且还借鉴了GAN的思想，还用到了强化学习，很有创意，跟前面的预训练模型相比，简直就是一股清流。

具体内容我就不总结了，因为下面这篇文章总结的实在太好了。看完之后大家就能了解ELECTRA的具体细节。

文章链接：

ELECTRA: 超越BERT, 19年最佳NLP预训练模型

小小鸟要高飞
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELECTRA原理与代码实例讲解
禅与计算机程序设计艺术
06-02 945
ELECTRA原理与代码实例讲解 1.背景介绍 在自然语言处理(NLP)领域,预训练语言模型(Pre-trained Language Model)已成为解决各种下游任务的关键技术。作为BERT的改进版本,ELECTRA(Efficiently Learning an Encoder tha
Pre-trained Chinese ELECTRA（中文ELECTRA预训练模型）-python
06-18
**中文ELECTRA预训练模型概述** 中文ELECTRA（Electrical Replacement Transformer）是阿里云团队推出的一种基于Transformer架构的预训练模型，专门针对中文文本处理。它在自然语言处理领域有着广泛的应用，如文本...
基于python的最新中文ELECTRA预训练模型源码
03-24
基于python的最新中文ELECTRA预训练模型源码
使用Cydia Impactor免越狱安装ipa
热门推荐
天道酬勤
08-22 1万+
cydiaimpactor
苹果如何安装ipa
sam的博客
07-31 6680
1.下载cydiaimpactor 官方地址 百度云下载：https://pan.baidu.com/s/1rYIG4go-fOEHarSjziA1eg 提取码：3b48 2.连上苹果手机，启动cydiaimpactor，导入安装包 3.输入苹果账号密码（密码为App 专用密码） 专用密码生成地址：https://appleid.apple.com/account/manage 4.等30秒后...
ELECTRA：Pre-training Text Encoders as Discriminators Rather Than Generators（2020-3-23）
weixin_49346755的博客
08-04 454
ELECTRA提出了一个新的预训练任务Replaced Token Detection（RTD），它的目标是学习区分输入的词。这个方法不采用mask，而是通过使用生成网络来生成一些合理替换字符来达到破坏输入的目的。然后，训练一个判别器模型，该模型可以预测当前字符是否被语言模型替换过。判别任务的一个好处是模型从输入的所有词中学习，而不是MLM中那样仅使用掩盖的词，因此计算更加有效。ELECTRA模型结构类似于GAN，包括两个神经网络：一个生成器G和一个判别器D，两者都采用形如Transformer的。....
ELECTRA：Efficiently Learning an Encoder that Classifies Token Replacements Accurately
zephyr_wang的博客
04-03 355
1 简介 ELECTRA：Efficiently Learning an Encoder that Classifies Token Replacements Accurately. 本文根据2020年《ELECTRA: PRE-TRAINING TEXT ENCODERS AS DISCRIMINATORS RATHER THAN GENERATORS》翻译总结。根据标题可以知道ELECTRA更关注识别，而不是生成；像BERT这种其实是生成，从mask的输入预测原始输入。 BERT中的MLM预训练方法，需
中文-ELECTRA：训练有素的中文ELECTRA（中文ELECTRA预训练模型）
02-03
|谷歌与斯坦福大学共同研发的最新预训练模型ELECTRA因其小巧的模型体积以及良好的模型性能受到了广泛关注。为了进一步促进中文预训练模型技术的研究与发展，哈工大讯飞联合实验室基于官方ELECTRA ELECTRA-small模型...
vietnamese-electra:使用越南语料库的Electra预训练模型
04-14
使用越南语料库的Electra预训练模型 概述 是一种用于自我监督的语言表示学习的新方法。 该存储库包含在大型越南语料库（约50GB文本）中经过训练的Electra小模型（tensorflow 2.1.0）。 根据： 受到生成对抗网络...
自然语言处理-基于预训练模型的方法-笔记
09-01
《自然语言处理-基于预训练模型的方法》是一本深入探讨NLP领域中预训练模型的著作，由车万翔、郭江、崔一鸣合著。该书详细介绍了预训练模型在自然语言处理中的重要性和广泛应用，涵盖了从基础知识到前沿技术的多个...
中文-XLNet：预训练中文XLNet（中文XLNet预训练模型）
02-03
本项目基于CMU /谷歌官方的XLNet： : 其他相关资源：MacBERT预训练模型： : 中文ELECTRA预训练模型： : 中文BERT-wwm预训练模型： : 知识蒸馏工具TextBrewer： :查看更多哈工大讯飞联合实验室（HFL）发布的资源： : ...
Cydia_Impactor_0.9.44
07-21
借助Cydia_Impactor安装可将ipa包到ios，由于ios限制七天后过期，需重新安装ipa包
Electra
03-16
Electra
ELECTRA:中文 预训练 ELECTRA 模型
04-15
ELECTRA 中文 预训练 ELECTREA 模型: 基于对抗学习 pretrain Chinese Model code Repost from google official code: 具体使用说明：参考 官方链接 Electra Chinese tiny模型路径 google drive electra-tiny baidu drive electra-tiny code:rs99 模型说明 与 tinyBERT 的 配置相同 generator 为 discriminator的 1/4 How to use official code Steps 修改 configure_pretraining.py 里面的 数据路径、tpu、gpu 配置 修改 model_size：可在 code/util/training_utils.py 里面 自行定义模型大小 数据输入格式：原始的
iOS 在线安装 ipa 网页
07-12
记录 itms-services,搭建 内网 ipa 安装网页的记录步骤,用于 ios 安装的包 构建完后的工作
Impactor_0.9.43抹除证书.zip
03-23
Impactor_0.9.43_windows版.zip 在0.9.44最新版本中无法抹除证书导致重签名无法运行，只需要用此版本的抹除后，再用最新版签名即可。
ELECTRA 使用
xiedelong的博客
04-15 4835
背景 bert 进行文本分类，当 max_seq_length 设置为 256 时，模型过于庞大，因此在长文本分类时，需要找寻效果相似，且更为快速的模型，因此找到了 ELECTRA 官方文档 ELECTRA中文预训练模型 ELECTRA官方文档 使用 git clone https://github.com/ymcui/Chinese-ELECTRA.git 下载中文预训练模型： 使用...
NLP-预训练模型-2020：Electra【预训练任务RTD（ReplacedTokenDetection）替代MLM；借鉴GAN；生成器+判别器；判别器用于下游；比RoBert预训练速度大幅提升】
u013250861的博客
08-03 3763
自然语言处理(NLP)-预训练模型：Electra【Pre-training Text Encoders as Discriminators Rather Than Generators】2020
ELECTRA模型详解
fzz97_的博客
03-12 1922
从原论文出发，主要介绍了预训练模型ELECTRA的原理和结构，通过实验证明了其有效性和创新性。
ELECTRA-BiLSTM-CRF模型
最新发布
04-22
其中 ELECTRA 模型是一种预训练的深度神经网络模型，用于生成上下文相关的预训练词嵌入。BiLSTM 是一种循环神经网络，用于处理具有时序性的数据。而 CRF 则是一种用于序列标注任务的条件随机场模型。 这个模型的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值