【机器学习案例5】语言建模 - 最常见的预训练任务一览表

已于 2024-02-16 17:01:07 修改
阅读量1k 收藏 18
点赞数 6
分类专栏： 机器学习实用指南 文章标签： 机器学习 人工智能
于 2024-02-16 16:57:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010542847/article/details/136130308
版权
本文汇总了预训练语言模型中的多种任务，如CLM、MLM、RTD、ELECTRA等，探讨了各自的任务目标、损失函数以及在自然语言处理中的应用，旨在提供一个全面的预训练任务概览。
摘要由CSDN通过智能技术生成

自监督学习 (SSL) 是基于 Transformer 的预训练语言模型的支柱，该范例涉及解决有助于建模自然语言的预训练任务 (PT)。本文将所有流行的预训练任务放在一起，以便我们一目了然地评估它们。

SSL 中的损失函数

这里的损失函数只是模型训练的各个预训练任务损失的加权和。

以BERT为例，损失将是MLM（Masked Language Modelling）和NSP（Next Sentence Prediction）的加权和

多年来，出现了许多解决特定问题的预训练任务。我们将回顾 10 个有趣且流行的函数及其相应的损失函数：

  1. 因果语言建模（CLM）
  2. 掩码语言建模（MLM）
  3. 替换令牌检测 ( RTD )
  4. 洗牌令牌检测（STD）
  5. 随机代币替换（RTS）
  6. 交换语言建模 ( SLM)
  7. 翻译语言建模（TLM
最低0.47元/天 解锁文章
suoge223
关注
专栏目录
模型预训练任务
weixin_43961909的博客
07-18 565
然而，在模型预训练阶段的损失函数中，由于并未将所有词元的损失都纳入计算，当使用相同规模的数据集进行训练时，采用前缀语言建模训练的模型在性能上通常会稍逊于使用标准语言建模任务训练的模型。混合去噪器，又称 UL2 损失，通过将语言建模和去噪自编码的目标均视为不同类型的去噪任务，对于预训练任务进行了统一建模。除了传统的语言建模任务外，去噪自编码任务是另一种常见的语言模型预训练任务，广泛应用于 BERT、T5 等预训练语言模型中。，语言建模任务的目标定义为词元的预测任务：基于序列中当前位置之前的词元序列。
Pandas数据分析一览-短期内快速学会数据分析指南(文末送书)
master_hunter的博客
09-14 1602
三年耕耘大厂数据分析师，有些工具是必须要掌握的，尤其是Python中的数据分析三剑客：Pandas，Numpy和Matplotlib。就以个人经验而已，Pandas是必须要掌握的，它提供了易于使用的数据结构和数据操作工具，使得在Python中处理结构化数据变得更加简单和高效。无论是处理常用的时序数据还是处理金融数据，与各类数据库联动或者是使用各类算法进行计算分析，都离不开Pandas的数据处理支持。作为一名数据分析师几乎每天都得和Pandas打交道，所以学习Pandas避不可避，但是如何高效学习Pandas
预训练语言模型综述（二）—— 预训练任务及训练策略
Forskamse's Blog
08-28 2897
本系列文章是笔者以邱锡鹏老师《Pre-trained Models for Natural Language Processing: A Survey》为主要参考材料所做的关于“预训练（语言）模型综述”的记录，所涉及之素材也包括其他相关综述与未被纳入此综述的工作，分享出来与大家交流讨论。此篇记录预训练任务及训练技巧。 预训练任务 预训练任务可归类成监督学习、无监督学习和自监督学习三类任务。自监督学习略微特殊，它也有输入和输出标签，所以训练方法其实和监督学习一致，但是它的标签是自动生成而非人工标注的，最典型的
预训练模型
knight的博客
04-09 5349
一、bert 论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 代码：https://github.com/google-research/bert 作者：google 1、贡献 提出一种双向语言模型，基于该预训练模型finetune后在各下游任务取得sota效果。 模型结构图如下，包括两个任务，一个是MLM(mask language model)，另一个是NSP任务(next sente
NLP：预训练
weixin_61483352的博客
06-30 579
NLP
预训练模型的分类，以及代表模型介绍
u013558123的博客
01-08 1338
需要注意的是，随着研究的进展，新的预训练模型和技术不断涌现，上述列表可能不是完全详尽的。视觉与语言模型：这类模型结合了计算机视觉和自然语言处理，用于处理同时包含图像和文本的任务，如图像标注、视觉问答等。代表性模型有VGG、ResNet、DenseNet、MobileNet、EfficientNet等。自编码语言模型：这类模型通过随机Mask输入句子中的部分单词，并训练模型以根据上下文预测这些被Mask的单词。序列到序列模型：这类模型适用于将输入序列映射到输出序列的任务，如机器翻译、文本摘要等。
预训练（Pre-training）
xw555666的博客
02-25 2575
预训练阶段在深度学习和自然语言处理（NLP）、计算机视觉（CV）等领域的模型构建中起着至关重要的作用。通过在大规模无标签数据集上进行预训练，模型可以学到丰富的语言结构、词汇关系、图像特征等通用知识，并将其编码为参数形式。这种预训练得到的模型能够提供高质量的初始化权重，这些权重包含了对世界广泛而深入的理解。总体来说，预训练和应用开发相辅相成，共同推动了AI技术的发展和落地应用。预训练大大提升了模型性能并降低了对大量标注数据的依赖，而应用开发则确保模型能够在实际问题中发挥出最佳效果。
人工智能(AI)原理与代码实战案例讲解
最新发布
程序员光剑
07-07 663
人工智能(AI)原理与代码实战案例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM AI原理与代码实战案例讲解 1.背景介绍
机器学习(四)幸福感数据分析+预测
weixin_51459486的博客
12-29 5231
本文将按以下几个步骤描述，数据分析的流程： 提出问题，给出分析目的； 数据清洗与处理； 数据分析及可视化； 建立模型及预测分析； 分析结果. 1.提出问题，给出分析目的 幸福感是一个古老而深刻的话题，是人类世代追求的方向。与幸福感相关的因素成千上万、因人而异，大如国计民生，小如路边烤红薯，都会对幸福感产生影响。在这些错综复杂的因素中，如何找到其中的共性，一窥幸福感的要义，进而提升人民的幸福感，能去帮助那些抑郁不开心的人，这是展开幸福感数据分析的目的。 基于调查人群的相关特征，提出关于幸福感的几个问题如下
NLP预训练模型3 -- 预训练任务优化（ERNIE、SpanBERT等）
anshiquanshu的专栏
07-21 1053
1 背景 前面一篇文章 NLP预训练模型2 – BERT详解和源码分析 中，我们从模型结构、实现源码、实验结果等角度，分析了预训练语言中大名鼎鼎的BERT模型。BERT大幅刷新的GLUE得分，提高了7.7个点之多，甚至有些中文NLP任务上达到了人类水平。那是不是在预训练模型方面就没法进行其他创新了呢，答案显然是否定的。前文中我们也提到了BERT存在的很多缺点，从预训练任务、模型结构、语料数据、模型轻量化等方面我们都可以进行深度优化。本文我们就先从预训练任务的优化讲起。 BERT是一个multi-mask任
深入理解：什么是预训练？预训练有什么作用？预训练和训练的本质区别？？？
weixin_45325693的博客
08-03 1万+
深入理解：什么是预训练？预训练有什么作用？预训练和训练的本质区别？？？
如何使用预训练模型优雅的生成sentence embedding
u012526436的博客
04-15 7470
前言 预训练语言模型在目前的大部分nlp任务中做个微调都能取得不错的一个结果，但是很多场景下，我们可能没办法微调，例如文本聚类，我们更需要的是文本的向量表示；又亦如文本匹配，特别是实时搜索场景，当候选集数量较多时，直接使用ptm做匹配速度较慢。那么如何优雅的使用预训练模型生成文本embedding呢？本文将会从不同的预训练模型与不同的优化方法去介绍文本embedding的生成方式，如有理解错误，欢迎大家指正。 本文所有的测试结果基于哈工大开源的LCQMC数据集，共20+w条数据，测试方法是计算两个句子的S
【大语言模型课程-6】大语言模型中的预训练任务（Pre-training Objectives）部分介绍
weixin_46453070的博客
06-26 461
1. 语言建模（Language Modeling）2. 掩码语言建模（Masked Language Modeling）3. 下一句预测（Next Sentence Prediction）4. 其他预训练任务总结大语言模型中的预训练任务是指在模型训练阶段使用的任务和目标，旨在通过大规模文本数据的无监督学习来提取和学习语言的通用知识。这些预训练任务帮助模型在实际应用中更好地理解语言结构、语义关系和上下文信息。
预训练是什么意思
热门推荐
weixin_48192256的博客
10-24 2万+
预训练是什么意思预训练预训练的简单概括预训练思想的本质学习任务的分解 预训练 预训练的简单概括 使用尽可能多的训练数据，从中提取出尽可能多的共性特征，从而让模型对特定任务的学习负担变轻。 预训练思想的本质 1.模型参数不再是随机初始化，而是通过一些任务进行预训练 2.将训练任务拆解成共性学习和特性学习两个步骤 上面两句话分别从两个不同的角度来解释预训练思想的本质。第一句话从模型的角度，第二句话从数据的角度 学习任务的分解 “预训练”的做法一般是将大量低成本收集的训练数据放在一起，经过某种预训方法去学习其中的
Bert改进模型汇总（3）
J~的博客
02-11 3985
目录 SpanBert: Improving Pre-training by Representing and Predicting Spans SpanMasking Span Boundary Objective Remove NextSentencePrediction RoBERTa:Robustly optimized BERT approach MoreData...
BERT可以增加哪些预训练任务？
火云明月的博客
03-09 1115
BERT基于NSP和MLM两个任务进行预训练，如果对BERT进行改进，一个可行的方向就是增加更多的预训练任务，那么除了这两个任务之外，还可以增加哪些预训练任务呢？ 可以增加的预训练任务有一个前提，就是这些任务的训练数据要能从无监督的数据中获取，这样才能获取到海量的数据，符合这一要求的任务可以进行尝试。 提供一些预训练任务的思路： 1.Capitalization Prediction Task 预测单词是否大写。与其他词语相比，大写词语通常具有特定的语义价值。 2.Token-Document Rela.
BART：Denoising Seq2Seq Pre-training for Natural Language Generation, Tranlation and Comprehension
Forlogenの解忧杂货铺
11-02 1460
BART：Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Tranlation and Comprehension 看看文章的研究机构就知道这不是一篇简单的文章，本文在之前多种相关的预训练模型的基础上，提出了一种基于DAE的Seq2Seq预训练模型。模型整体上采用标准的基于Transform...
预训练语言模型驱动的机器阅读理解进展与挑战
接着，Hai Zhao将详细讲解预训练语言模型的工作原理、优势以及在MRC中的实际应用案例。最后，两位专家会讨论技术方法、当前研究热点及未来前沿方向，包括模型的优化、多模态融合以及跨语言MRC等。 整个教程旨在帮助...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值