BERT家族的那些事——简介篇

最新推荐文章于 2024-05-16 12:32:15 发布
最新推荐文章于 2024-05-16 12:32:15 发布
阅读量361 收藏
点赞数
分类专栏： 深度学习 自然语言处理 文章标签： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44686520/article/details/108939262
版权

2018年10月谷歌公司AI团队发布了BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩，并且横扫11种不同NLP任务，BERT模型的提出为NLP领域带来了里程碑式的改变，更加证明了pretrain+fine-tune这条路的可行性，之后会有越来越多的同行者加入进来。

BERT模型虽然表现惊艳，但也有其不足之处，BERT模型提出后的两年内，各种BERT的改进模型纷纷提出，效果和性能各种碾压BERT，本系列文章将会介绍BERT模型的三种改进版，具体如下：

  • BERT家族的那些事——XLNet篇
  • BERT家族的那些事——RoBERTa篇
  • BERT家族的那些事——Albert篇

博客不定时更新，欢迎NLP爱好者们加我微信：kaifeng3922，一起学习一起冲～

进击的NLPer
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
bert家族
u013596454的博客
09-28 477
1. introduction ​  Bert，目前nlp领域神器级模型，诞生于2018年，全称Bidirectional Encoder Representation from Transformers。该模型在其诞生时，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7% （绝对改进率5.6％）等，引起了极大的轰动。经过2年的发展
BERT——2018NLP最强论文
03-10
《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中，Jacob Devlin，Ming-Wei Chang， Kenton Lee， Kristina Toutanova等人提出的一种全新的深度学习架构，该架构在11项NLP...
BERT家族：ALBERT
qq_32223859的博客
05-25 361
ALBERT 论文：《ALBERT: A Lite BERT For Self-Supervised Learning Of Language Representations》 论文地址：https://arxiv.org/pdf/1909.11942 作者/机构：google 年份：2019.9 采用了全新的参数共享机制，反观其他升级版BERT模型，基本都是添加了更多的预训练任务，增大数据量等轻微的改动。这次ALBERT的改进，不仅提升了模型的整体效果再一次拿下来各项榜单的榜首，而且参数量相比B
BERT家族进化史：10大变体，如何选择最适合你的NLP利器？
最新发布
java专栏
05-16 626
BERT（Bidirectional Encoder Representations from Transformers）自问世以来，凭借其在多项NLP任务上的卓越表现，迅速成为自然语言处理领域的重要里程碑。本文将深入探讨BERT家族的几个关键变体，包括它们的设计理念、技术改进以及在实际应用中的不同场景，同时辅以代码示例，让你对BERT及其变体有更直观的理解和掌握。
BERT家族：族长BERT
qq_32223859的博客
05-25 401
自18年底谷歌BERT问世以后，NLP便逐渐步入bert时代，bert家族儿孙满堂，如RoBERTa、ALBert、ERNIE等等，这些bert们正在给并持续给nlp领域输入无限生机，让人工智能皇冠上的明珠更加光彩夺目，在其光芒的照耀下，人类的人工智能之路必定越来越清晰、明朗。 通过阅读大量博客资料，知乎专栏和论文，文本以通俗易懂而不失专业的方式总结了Bert以及其13个衍生版本，分享给大家，不足之处，望请指出。后期会不定期分享各个版本bert的详细解读以及实战代码，敬请期待。 1.BERT 论文：.
BERT家族：StructBERT
qq_32223859的博客
05-27 470
StructBERT 论文：《STRUCTBERT: INCORPORATING LANGUAGE STRUCTURES INTO PRE-TRAINING FOR DEEP LANGUAGE UNDERSTANDING》 论文地址：https://arxiv.org/pdf/1908.04577 作者/机构：阿里巴巴 年份：2019.9 StructBERT 是将语言结构信息融入进Bert,来提高其性能,其主要是增加了两个基于语言结构的训练目标：词序(word-level ordering)重构
BERT家族：XL-NET
qq_32223859的博客
05-25 295
XL-Net 论文：《XLNet: Generalized Autoregressive Pretraining for Language Understanding》 论文地址：https://arxiv.org/pdf/1906.08237v1 作者/机构：CMU+google 年份：2019.6 XL-NET主要是通过改变MLM了训练的方式,来提高Bert的性能，提出了自回归（AR，autoregressive）语言模型训练方法，另外还针对长文本任务将transformer替换为tran
Transformer学习总结——原理篇
02-24
首先从整体上看一下Transformer的结构：从图中可以看出，整体上Transformer由四部分组成：Inputs:Inputs=WordEmbedding(Inputs)+PositionalEmbeddingInputs=WordEmbedding(Inputs)+PositionalEmbeddingInputs=Word...
【BERT系列】——命名实体识别
01-07
本文是BERT实战的第二篇，使用BERT进行命名实体识别（序列标注类任务）。 1. 准备 1.1 环境 python 3.7； pytorch 1.3； transformers 2.3 （安装教程）； 1.2 数据 数据链接（链接：...
BERT
02-23
**BERT（Bidirectional Encoder Representations from Transformers）**是自然语言处理（NLP）领域的一个重要突破，由Google在2018年提出。BERT模型基于Transformer架构，它改变了以往预训练语言模型仅从左到右或从...
Python自然语言处理-BERT实战
10-26
给大家分享一套课程——Python自然语言处理-BERT实战，提供全部课程资料，包括PPT,数据,代码。 Python自然语言处理-BERT模型实战课程旨在帮助同学们快速掌握当下NLP领域最核心的算法模型BERT的原理构造与应用实例。...
BERT家族：ELECTRA
qq_32223859的博客
05-26 304
ELECTRA 论文：《Efficiently Learning an Encoder that Classifies Token Replacements Accurately》 论文地址：https://openreview.net/attachment?id=r1xMH1BtvB&name=original_pdf 作者/机构：斯坦福+google 年份：2019.11 ELECTRA对Bert的改进最主要的体现在是提出了新的预训练任务和框架，把生成式的Masked language
【李宏毅】Bert家族
SofiaT的博客
04-23 710
bert家族笔记
BERT家族：K-BERT
qq_32223859的博客
05-26 1067
K-BERT 论文：《K-BERT: Enabling Language Representation with Knowledge Graph》 论文地址：https://arxiv.org/pdf/1909.07606v1 作者/机构：北京大学+腾讯 年份：2019.9 K-BERT主要是为了提升BERT在知识驱动任务上微调性能，由于通用语料训练的BERT模型在知识驱动型的任务上较大的领域差异，微调效果欠佳。K-BERT通过将知识图谱的三元组信息引入到BERT的预训练中，使能够模型习得特殊
bert家族系列之bert
lcomecon的博客
04-23 233
接着公司项目相对没有那么忙的空档，梳理一下相关的文档，便于后续的回顾与学习。 BERT: Bidirectional Encoder Representation from Transformers 有一种说法，NLP任务分成两部分，预训练产生词（字）向量和对词向量进行操作；体现在的bert中就是预训练网络作为产生词向量的网络，然后fine-tune就是对词向量操作（NLP的下游任务） 一、预训练网络 1. 词向量模型： 词向量的进化史，是从word2vec—> ELMo ----> BERT
课节9：BERT和它的家族-介绍和微调
weixin_43631284的博客
04-14 401
李宏毅NLP课程 课节9：BERT和它的家族-介绍和微调
李宏毅自然语言处理——BERT和它的家族
日积月累，天道酬勤
08-14 801
本文介绍了什么是预训练模型；如何接上其他模型进行微调；以及如何训练预训练模型。
BERT家族的那些事——XLNet篇
weixin_44686520的博客
10-06 604
本文是BERT家族系列文章的第一篇，也是NLP生涯的第一篇文章，主要是自己对于XLNet模型的一些理解，长文高能预警，写的不好的地方还请大佬们多多指教。 目录 XLNet模型简介 XLNet模型结构 1.PLM 2.TransformerXL 总结 XLNet模型简介 2018年10月谷歌推出BERT模型，性能上碾压了之前几乎所有的NLP模型，在11项NLP任务上表现优异，但BERT模型也有其不足之处，其改进版XLNet模型在众多数据集上的效果相较于BERT提高了5%-15%，下面让我们来一探究竟，一起
李宏毅nlp学习笔记04：bert和它的好朋友们
weixin_42721412的博客
11-09 407
1.当下追求的模型： 输入文本，训练使得模型可以读懂文本，然后根据不同的任务微调模型！ 2.bert大家庭—芝麻街： 3.预训练： 把token用嵌入的向量表示。 针对英文系的前缀后缀等，有fasttext 中文的偏旁部首也能体现一定的意义： 为了表示相同字在不同词中的意思不同，现在的model都是输入整个句子之后，再给出每个token 的embedding。 即上下文。 这样的模型可以有哪些呢？ bert的encoder中的自注意力机制就是做这个的。 给出10个含有苹果的苹的句子，前5个是吃的
自然语言处理——BERT情感分类实战
08-21
嗨！对于BERT情感分类实战，您可以按照以下步骤进行： 1. 数据准备： - 收集和整理情感分类的训练数据集，一般包含文本和对应的情感类别（如正面、负面、中性等）。 - 划分数据集为训练集和测试集，确保数据集的均衡性和随机性。 2. BERT模型介绍： - BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，通过双向Transformer编码器学习语义表示。 - 可以选择使用基于TensorFlow或PyTorch实现的BERT模型，或者直接使用已经训练好的BERT模型进行微调。 3. 模型微调： - 使用训练集对BERT模型进行微调，即在预训练的BERT模型基础上，通过训练集进行进一步的学习。 - 这里的微调过程包括输入数据的预处理、构建分类任务的模型结构、定义损失函数和优化算法等。 4. 模型评估： - 使用测试集对训练好的BERT模型进行评估，计算分类准确率、精确率、召回率等指标，评估模型在情感分类任务上的性能。 5. 预测与应用： - 使用训练好的BERT模型对新的文本进行情感分类预测，得到情感类别的预测结果。 - 可以将该模型应用于各种情感分析任务，如舆情监测、评论情感分析等。 以上是BERT情感分类实战的一般流程，您可以根据具体需求和数据特点进行相应调整和优化。希望能对您有所帮助！如有更多问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值