梳理 BERT和BERT变种

已于 2022-05-20 14:29:20 修改
阅读量646 收藏
点赞数 1
文章标签： bert 自然语言处理 深度学习
于 2022-05-20 14:24:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61703157/article/details/124881981
版权
这篇博客详细梳理了BERT及其多个变种的发展历程，包括BERT、XLNet、SpanBERT、RoBERTa、AlBERT、ELECTRA、ERNIE 3.0以及StructBERT、TinyBERT和MobileBERT。这些模型在自然语言处理任务中展现了强大的能力，通过不同的预训练策略优化了语言表示学习。RoBERTa优化了BERT的预训练方法，ALBERT提出了更轻量级的结构，XLNet则引入了自回归预训练。此外，文章还提供了相关论文链接供进一步阅读。
摘要由CSDN通过智能技术生成
最低0.47元/天 解锁文章
CarpediemJC
关注
大语言模型应用指南：从人工智能的起源到大语言模型
程序员光剑
06-27 861
人工智能（Artificial Intelligence，AI）自诞生以来，一直是计算机科学领域的重要研究方向。早期的AI系统主要依赖于专家知识和规则库，通过逻辑推理和符号计算来解决问题。然而，这种基于规则的系统在处理复杂和多变的现实世界时，表现出了明显的局限性。随着数据量的爆炸式增长和计算能力的提升，研究者们开始探索基于数据驱动的机器学习方法，尤其是深度学习（Deep Learning），从而引发了AI领域的革命性进展。
【AI大模型应用开发实战】数据标注：标注工具与方法应用
程序员光剑
01-22 1904
随着人工智能技术的飞速发展，尤其是大规模预训练模型（如GPT-3、BERT等）的出现，数据与标注的质量和数量成为了影响模型性能的关键因素。大模型需要海量的数据进行训练，而这些数据必须经过精心的标注，以保证模型能够理解和生成高质量的输出。数据是指用于训练模型的原始信息集合，可能包括文本、图像、音频等多种形式。对于大模型来说，数据的多样性和覆盖面至关重要。标注是指对原始数据进行附加信息的过程，例如对文本进行分词、命名实体识别，或者对图像进行物体识别等。标注的质量直接影响模型的理解能力和输出质量。
Bert及其变种和应用场景
04-09 2070
RoBERTa:https://zhuanlan.zhihu.com/p/103205929 使用动态mask FULL-SENTENCES without NSP 更大的bs 更大的byte-level BPE Soft-Masked BERT 修正网络是一个基于BERT的序贯多类标记模型 DistilBERT： 原理：这个的做法就是用蒸馏12层的BERT得到6层的DistilBERT，首先预训练好BERT，然后用训练BERT的大规模预料来蒸馏12层的BE...
BERT的变种
jzwei023的博客
02-20 595
bert以及bert各种变种概述
Transformer变种之BERT - Transformer教程
最新发布
shandianfk_com的博客
08-14 366
BERT是Google于2018年推出的一种基于Transformer的自然语言处理模型。本文详细介绍了BERT的核心技术、自注意力机制、掩码语言模型和下一个句子预测，探讨了其训练过程和在各种NLP任务中的应用，分析了BERT的优缺点。作为NLP领域的革命性进步，BERT通过双向编码器架构显著提升了语言理解能力。
一起来学习BERT常见的几个变体
日积月累，天道酬勤
09-26 4765
学习BERT几个常见的变体——ALBERT、RoBERTa、ELECTRA和SpanBERT。
Bert及其变种的原理
MusicDancing的博客
01-04 623
1. Embedding简述 2. Transformer原理 3. Bert及其变种的原理
腾讯一面：BERT模型压缩，BERT变种，数据分桶
DecafTea的博客
03-23 485
BERT模型蒸馏有哪些方法？ https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/109039823 BERT变种 https://blog.csdn.net/qq_39006282/article/details/107251957 数据分桶 https://blog.csdn.net/fang156239305/article/details/107315666/
论文梳理
lee__7的博客
01-27 1585
题目：多模态人体动作表示识别及其正骨康复训练应用综述 核心：人体动作识别HAR 摘要 分为： 动作捕捉：基于视频，深度相机，惯性传感器 动作分类（深度学习）：特征自动提取，多模态特征融合 应用：正骨康复训练：监督锻炼 和 模拟训练 讨论：HAR 的精准动作捕捉，多模态特征融合，正骨康复重点难点 引言 HAR：确定人体动作类别，获取人体行为信息 ，反应行为目的 医学中：衡量 脑卒，骨折患者 健康...
DL之Transformer：Transformer的简介(优缺点/架构详解，基于Transformer的系列架构对比分析)、使用方法(NLP领域/CV领域)、代码实现、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
02-27 8657
​ DL之Transformer：Transformer的简介(优缺点/架构详解，基于Transformer的系列架构对比分析)、使用方法(NLP领域/CV领域)、案例应用之详细攻略 目录 相关文章 Transformer的简介 Transformer的使用方法 Transformer的案例应用 相关文章 NLP/CV：Seq2Seq(应用/思想)→Encoder-Decoder(架构)→Seq2Seq with Attentio
【深度学习】BERT变种—百度ERNIE 1.0
Dong_ZH的博客
06-07 860
ERNIE: Enhanced Representation through Knowledge Integration是百度在2019年4月的时候，基于BERT模型，做的进一步优化，在中文的NLP任务上得到了state-of-the-art的结果。ERNIE 是百度开创性提出的基于知识增强的持续学习语义理解框架，该框架将大数据预训练与多源丰富知识相结合，通过持续学习技术，不断吸收海量文本数据中词汇、结构、语义等方面的知识，实现模型效果不断进化。
Bert及其变形
Chrsitina_S的博客
06-19 332
bert
BERT原理&Fine Tuning&Bert变种
qq_36102055的博客
05-10 1821
CLS是BERT用于分类句子的标记，如果需要对整个句子进行分类，则只需要把CLS的输出部分进行处理即可。而且对于太长的句子，Transformer的计算难度会变的非常大，比如Bert中一般限制输入句子最长长度为512，再长可能效果就不好了。这不用担心，因为虽然顺序打乱，但是位置编码还是原序的编码，所以每个词的原本位置信息仍然是保留的了。假设我们的Transformer每次都只计算的句子的某个固定长度区间，除此之外，还会像RNN一样看一下前面的序列的计算结果。需要注意的是，ALBert并没有减少计算量。
Attention的理解，Bert以及其变型总结
Mr_Carrot的博客
01-11 904
原文出处为这里，张老师关于注意力的讲解 非常的通俗易懂，读了这篇文章之后，写下这篇博客作为笔记。极其推荐看一下这篇原文。 关于key,value,query 其中对于机器翻译来说，将source翻译为target，在注意力机制中可写作 source中是key和value的键值对，对于翻译每一个target的单词，就是向source中进行一次query。其中key为source中的词向量，value为在encoder端的每个单词的hj。 Attention(query, source) = \sum simi
7个Bert变种模型baseline在7个文本分类数据集上训练和测试
热门推荐
专注“目标检测”领域技术分享
03-20 1万+
本文使用了下面七个模型 1. BertLSTM 2. BertOrigin 3. BertCNN 4. BertATT 5. BertRCNN 6. BertCNNPlus 7. BertDPCNN 在下面七个数据集上做了训练和测试： IMDB， SST-2, Yelp ，Yahoo! Answers ， AG's News，DBPedia，THUCNews
【深度学习】BERT变种—百度ERNIE 2.0
Dong_ZH的博客
06-09 1496
ERNIE 2.0 提出了一种持续学习的预训练框架：预训练使用了7种任务，而不是一两种简单的任务。不断引入新的预训练任务，让模型可以持续性地学习不同的预训练任务，并且不会遗忘先前学习的知识，以此让模型能够获得更为全面的表征能力。就像是我们学习一个新语言的时候，我们需要很多之前的知识，在这些知识的基础上，我们可以更快地学习新语言，如此就有了迁移学习的效果。我们的语言模型如果增加多个任务的话，是不是可以获得更好的效果？
Bert基础(九)--Bert变体之ALBERT
Andy_shenzl的博客
04-01 1391
在接下来的几篇，我们将了解BERT的不同变体，包括ALBERT、RoBERTa、ELECTRA和SpanBERT。我们将首先了解ALBERT。ALBERT的英文全称为A Lite version of BERT，意思是BERT模型的精简版。ALBERT模型对BERT的架构做了一些改变，以尽量缩短训练时间。本章将详细介绍ALBERT的工作原理及其与BERT的不同之处。
BERT和transformer比较
10-18
BERT和transformer都是自然语言处理领域中非常重要的模型。其中，transformer是一种基于自注意力机制的神经网络模型，可以用于各种自然语言处理任务，如机器翻译、文本分类、问答系统等。而BERT则是一种预训练语言...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值