自然语言处理中的预训练模型

最新推荐文章于 2023-01-01 20:04:11 发布
最新推荐文章于 2023-01-01 20:04:11 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： NLP 文章标签： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/anqi3776/article/details/119733818
版权
本文探讨了预训练模型在自然语言处理中的发展，包括Bert、SpanBert、XLNet等典型模型及其扩展，如知识增强、多语言和特定语言模型。还讨论了模型压缩技术、预训练模型在下游任务的应用策略以及未来的研究方向，如任务定向预训练和知识迁移。
摘要由CSDN通过智能技术生成

这里写目录标题

预训练模型分类体系

在这里插入图片描述

典型模型

Bert

在这里插入图片描述
Bert有两个训练任务，第一个任务是预测被mask的单词，第二个任务是句子级任务——句对预测。
在这里插入图片描述
上述图片中有两个特殊的地方，在句子输入中添加了[CLS]和[SEP]，[SEP]的作用是区分两句话，[CLS]用于捕捉全局信息；

当使用Bert进行分类任务时，直接在Bert上拼接一个分类器就能执行分类任务；

SpanBert

预测一个范围内的所有词；
去除NSP预训练任务；
在这里插入图片描述

StructBert

在这里插入图片描述

XLNet

在这里插入图片描述

T5

在这里插入图片描述

GPT-3

在这里插入图片描述

预训练模型的扩展

Knowledge-Enriched PTMs

在这里插入图片描述
把知识图谱引进预训练模型中，如上图中，右图中的黄色内圈表示文本的全连接的图结构&#

最低0.47元/天 解锁文章
StellaLiu萤窗小语
关注
专栏目录
8个优秀的预训练模型，帮助您开始使用自然语言处理（NLP）
大数据处理，智能搜索推荐，自然语言处理，AI机器人对话，数据库读写分离
03-28 1157
目录 为什么要使用预训练模型？ 本文涵盖的预训练NLP模型 多用途NLP模型 ULMFiT 有关ULMFiT的更多信息，请参阅： Transformer 学习和阅读更多有关Transformer的资源： 谷歌的BERT 学习和阅读更多有关BERT的资源： 谷歌的Transformer-XL 有关学习和阅读有关Transformer-XL的更多信息的资源： OpenAI...
自然语言预训练模型总结（PPT版）
黄鑫的博客
06-04 2062
这是我个人的总结，参考了张俊林这篇很好的文章，请感兴趣看以下链接~ 张俊林：放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较 一、简介 自然语言处理中的预训练技术发展历程——从Word Embedding到Bert Neural language models Word Embedding Pretrained l...
fanq15/FSOD-code 的环境配置及运行
Alvin_Wang的博客
12-03 2814
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例
自然语言处理中的预训练模型-邱锡鹏老师
sueong的博客
05-16 1026
自然语言处理中的预训练模型 视频地址(https://www.bilibili.com/video/av883626347 参考https://blog.csdn.net/qq_37388085/article/details/108463269 1、自然语言表示学习 1.1 什么是自然语言处理（NLP） 自然语言≈人类语言，不同于人工语言（如程序语言）； 1.2 NLP的基础：语言表示 如何在计算机中表示语言的语义？ 知识库规则 分布式表示 句子嵌入 1.3 自然语言处理任务 序列到类别-情感分类/文本蕴
自然语言处理历史最全预训练模型(部署)汇集分享
lqfarmer的博客
08-15 454
什么是预训练模型？ 预练模型是其他人为解决类似问题而创建的且已经训练好的模型。代替从头开始建立模型来解决类似的问题，我们可以使用在其他问题上训练过的模型作为起点。预训练的模型在相似的应用程序中可能不是100％准确的。 本文整理了自然语言处理领域各平台中常用的NLP模型，常见平台包括Tensorflow、Keras、Pytorch、MXNet、Caffe。分享给需要的朋友。 点击文末阅读原文，获取预训练模型下载链接。 Tensorflow Kera...
自然语言处理从入门到应用——预训练模型总览：从宏观视角了解预训练模型
热门推荐
冯·诺依曼
02-06 1万+
近些年基于深度学习的NLP技术的重大进展主要包括NNLM(2003)、Word Embedding(2013)、Seq2Seq(2014)、Attention(2015)、Transformer(2017)、GPT(2018)、BERT(2018)、XLNet(2019)、GPT-2(2019)、GPT-3(2020)等，主要预训练模型的大致发展脉络见下图： 各种主要预训练模型的特征、抽取特征方法、使用语言模型类别等内容： 模型 语言模型 特征提取 上下文 创新点 ELMO LM Bi-L
自然语言处理中的语言模型预训练方法
Paper weekly
10-22 3345
最近，在自然语言处理（NLP）领域中，使用语言模型预训练方法在多项 NLP 任务上都获得了不错的提升，广泛受到了各界的关注。就此，我将最近看的一些相关论文进行总结，选取了...
自然语言处理中文预训练模型-微博
01-31
资源来自 https://github.com/Embedding/Chinese-Word-Vectors
自然语言处理-基于预训练模型的方法-笔记
09-01
《自然语言处理-基于预训练模型的方法》是一本深入探讨NLP领域中预训练模型的著作，由车万翔、郭江、崔一鸣合著。该书详细介绍了预训练模型在自然语言处理中的重要性和广泛应用，涵盖了从基础知识到前沿技术的多个...
自然语言处理中文预训练模型-知乎
01-31
资源来源 https://github.com/Embedding/Chinese-Word-Vectors
面向自然语言处理任务的预训练模型综述.pdf
04-21
预训练模型的出现解决了深度神经网络中大规模参数学习问题，为自然语言处理任务的发展提供了强大的技术支持。 一、自然语言处理的发展 自然语言处理（Natural Language Processing，NLP）是人工智能、语言学和数学...
自然语言处理-基于预训练模型的方法 笔记
12-30
综上所述，基于预训练模型的方法在自然语言处理中具有广泛的应用前景，它改变了我们处理语言任务的方式，使得计算机更加接近人类地理解和生成自然语言。随着技术的不断发展，预训练模型将在更多领域展现出其强大的...
自然语言处理（NLP）入门——预训练模型
one time one step的博客
03-31 1789
ELMo和GPT认识 ELMO模型 本质: Embeddings from Language Models. 解决的问题: 多义词的问题 结构图 结构: 最下层是embedding层 中间是双向的LSTM 最上层是词向量表征 2L+1 L —> 层数 ELMo的预训练过程 第一个阶段: 预训练语言模型 第二个阶段: 根据下游任务, 去动态调整word embedding的向量表示,然后将去融入到之前的向量中, 就完成了动态调整的过程 每层词向量表示的意义 第一层: 静态词向量
自然语言处理——学习笔记（7）预训练语言模型
最新发布
weixin_45752264的博客
01-01 1224
给整个NLP预训练模型领域提供了一个通用框架，把所有NLP任务都转化成一种形式（text-to-text），通过这样的方式可以用同样的模型，同样的损失函数，同样的训练过程，同样的解码过程来完成所有的NLP任务。：自然语言处理任务往往用有监督方法学习，但标注数据有限，预训练方法可以通过自监督学习从大规模数据中获得与具体任务无关的预训练模型，然后用训练好的预训练模型提高下游任务的性能。* 针对输入端：如何构造prompt，更好的对下游任务建模，使其能够激发预训练模型的潜能。
【邱锡鹏老师SMP2020教程】90页自然语言处理中的预训练模型
机器学习算法与Python学习
09-16 527
（给机器学习算法与Python学习加星标，提升AI技能）今天分享给大家的是邱锡鹏老师在SMP2020关于《自然语言处理预训练语言模型》的干货报告教程！邱锡鹏教授邱锡鹏，复旦大学计算机科学...
自然语言处理：预训练
不管风雨有多少丶的博客
04-30 691
Bert预训练模型的预处理、搭建和训练
预训练语言模型：自然语言处理基础
"《自然语言处理基础模型》是一本专著，探讨了人工智能领域的最新进展，特别是针对自然语言处理(NLP)的大模型。该书由Gerhard Paaß和Sven Giesselbach编著，作为'Artificial Intelligence: Foundations, Theory, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值