百度ERNIE系列预训练语言模型浅析(1)-ERNIE

已于 2024-06-03 14:30:09 修改
阅读量2.7k 收藏 49
点赞数 38
分类专栏： NLP 文章标签： 语言模型 nlp
于 2024-04-14 23:53:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40566713/article/details/137758344
版权
本文概述了百度ERNIE模型从1.0到3.0的发展，重点介绍了多阶段的知识掩码策略，包括词级别、短语级别和实体级别，以及多轮对话任务如何提升模型的语义理解能力。BERT的基础MLM任务在此基础上得以增强。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

(写在文章前，我是一个对NLP感兴趣的小白，这篇文章是阅读论文时的粗略笔记～～)
在这里插入图片描述

百度的ERNIE系列模型，其没有对网络模型本身进行结构上的大改动，而是着重于如何构造合理的预训练任务，以及如何更好地利用数据构造无监督的训练集。本文主要从各模型的原理、优点、缺点、解决了什么问题等方面来讲述百度ERNIE1.0\ ERNIE2.0\ ERNIE3.0的进化历程，并对比了模型之间的区别与联系。个人理解浅显，希望与读者交流。

ERNIE: Enhanced Representation through Knowledge Integration
Sun Y, Wang S, Li Y, et al. Ernie: Enhanced representation through knowledge integration[J]. arXiv preprint arXiv:1904.09223, 2019.

关键词： a multi-stage knowledge masking strategy ，对phrase（短语）和entity（实体）做mask，间接的加入知识图谱

1、Knowledge masking strategies（知识完形填空策略）

最低0.47元/天 解锁文章
百度Ernie大模型是什么？
xiongxiaoxuan的博客
07-26 2197
百度的Ernie模型（Enhanced Representation through kNowledge Integration）是一个基于Transformer架构的预训练语言模型。它由百度研发，旨在通过整合大规模语料和知识图谱来增强模型的语言理解和生成能力。它通过整合大规模语料和知识图谱，采用多任务学习和分层预训练策略，在多个自然语言处理任务上取得了显著的性能提升。Ernie模型的不断发展和优化，使其在语言理解和生成方面表现出色，广泛应用于各种实际场景中。
深度学习篇---大模型ERNIE Bot
最新发布
道阻且长，行则将至。
04-08 2212
本文简单介绍了大模型ERNIE Bot的技术框架与核心创新、使用等相关知识。
深度剖析知识增强语义表示模型——ERNIE
mr2zhang的博客
12-10 7327
文章目录什么是语义表示静态词向量动态词向量（上下文词向量）位置编码ERNIE的原理介绍神经网络上的改造辅助任务学习过程ERNIE的应用案例性能不敏感的场景：直接使用ERNIE 的模型蒸馏案例：搜索问答Query识别和QP匹配离线推荐 无监督文本的深度神经网络的出现，nlp领域又火了起来，深度神经网络大大提升了nlp任务的效果。虽然早期的网络也是基于上下文进行的向量建模，但是由于单向信息流的弊端，效...
深度学习进阶篇-国内预训练模型[5]：ERINE、ERNIE 3.0、ERNIE-的设计思路、模型结构、应用场景等详解
丨汀、的博客
05-28 4536
ERINE是百度发布一个预训练模型，它通过引入三种级别的Knowledge Masking帮助模型学习语言知识，在多项任务上超越了BERT。在模型结构方面，它采用了Transformer的Encoder部分作为模型主干进行训练，如图1(图片来自网络)所示。图1 Transformer的Encoder部分关于ERNIE网络结构(Transformer Encoder)的工作原理，这里不再展开讨论。接下来，我们将聚焦在ERNIE本身的主要改进点进行讨论，即三个层级的Knowledge Masking 策略。
语言三元组快速转制_[预训练语言模型专题] ENRIE(Tsinghua)：知识图谱与BERT相结合，为语言模型赋能助力...
weixin_29818013的博客
01-07 598
本文为预训练语言模型专题的第18篇。快速传送门1-4:[萌芽时代]、[风起云涌]、[文本分类通用技巧] 、 [GPT家族]5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart]13-16：[跨语种模型]、[XLNet]，[RoBERTa]、[SpanB...
超详细中文预训练模型ERNIE使用指南
热门推荐
Kaiyuan_sjtu的博客
07-31 3万+
写在前面 啊实习以后因为各种事就好久没写过博客了。最近在工作上处理的都是中文语料，也尝试了一些最近放出来的预训练模型（ERNIE，BERT-CHINESE，WWM-BERT-CHINESE），比对之后还是觉得百度的ERNIE效果会比较好，而且使用十分方便，所以今天就详细地记录一下。希望大家也都能在自己的项目上取得进展~ 1、A Glance at ERNIE 关于ERNIE模型本身的话这篇不会做...
百度ERNIE系列预训练语言模型浅析(3)-ERNIE3.0
weixin_40566713的博客
05-29 2981
关键词：百亿参数大模型 \Transformer-XL\Knowledge graph预训练中加入知识图谱三元组，模型基本单元从2.0的transformer换成transformer-XL百度文心可以体验模型效果：https://wenxin.baidu.com/wenxin/ernie。
百度ERNIE系列预训练语言模型浅析(4)-总结篇
weixin_40566713的博客
05-29 1162
（1）相同点：采用连续学习采用了多个语义层级的预训练任务（2）不同点：ERNIE 3.0 Transformer-XL Encoder(自回归+自编码), ERNIE 2.0 Transformer Encoder（自编码）预训练任务的细微差别，ERNIE3.0里增加的知识图谱。
百度ERNIE系列预训练语言模型浅析(2)-ERNIE2.0
weixin_40566713的博客
05-29 583
Token-Document Relation Prediction：预测句子中的词是否出现在了segment原始文档中，约等于预测token是否为关键词。以前的模型只能学到简单的共现信息,其他有价值的信息，比如lexical\syntactic\semantic information都没有被提取出来。概括：加入更多的预训练任务，为了有效的训练采用了连续训练的方法。上游的预训练任务和下游特定任务的Fine-tuning的闭环。连续的多任务学习能记住之前学习到的信息。
[预训练语言模型专题] 百度出品ERNIE合集，问国产预训练语言模型哪家强
yang191919的博客
05-15 596
本文为预训练语言模型专题系列第七篇 系列传送门 [萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]、[BERT来临]、[BERT代码浅析] 感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介绍的文章，绿框中为本期介绍的文章，欢迎大家留言讨论交流。 ERNIE: Enhanced Representation through Knowledge Integration（2019） 大家可能...
ERNIE（Enhanced Representation through kNowledge Integration）模型
彬彬侠的博客
03-07 1391
ERNIE（文心）是百度（Baidu）在2019年提出的预训练语言模型，在BERT的基础上引入了知识增强（Knowledge Integration）、动态Mask、多粒度学习，特别适用于中文NLP任务。命名实体识别（NER）、阅读理解、问答系统等上比BERT更适合中文NLP任务。可以通过Hugging Face transformers直接加载ERNIE进行推理和微调。ERNIE是中文NLP领域的重要突破，在知识增强、中文理解、对话AI领域具有广泛应用。
paddlehub的ernie模型介绍.zip
08-13
深度学习工具paddlehub中的ernie模型的相关论文。想学习paddlepaddle，深度学习。NLP的人可以下载下来看看。
探索未来智能之路：百度文心ERNIE，知识驱动的大模型革命
gitblog_00374的博客
08-15 1271
探索未来智能之路：百度文心ERNIE，知识驱动的大模型革命 ERNIEOfficial implementations for various pre-training models of ERNIE-family, covering topics of Language Understanding & Generation, Multimodal Understanding & Generat...
百度“文心一言”大模型(ERNIE)发布了，对标ChatGPT
微学AI的博客
03-16 5506
百度的文心大模型和 Open AI 的 GPT 模型类似，在2019 年就已经推出，并且已经迭代了多轮，已经从单一的自然语言理解延申到多模态包括视觉、文档、文图、语音等，因此“文心一言”所基于的 ERNIE 系列模型也已经具备较强泛化能力和性能。自然语言处理大模型的发展可以追溯到早期的简单的规则模型，再到后的机器学习，近十年崛起的神经网络和深度学习研究。大家好，我是微学AI，今天给大家介绍一下基于大语言模型的背景下，国内外的发展现状，以及百度的“文心一言”大模型。百度大模型的持续发展有强大算力支撑。
中文预训练大模型—文心Ernie技术原理
敷衍zgf的博客
03-01 5161
文心Ernie技术原理 一、背景技术 Ernie是基于Bert模型进行改进，基本模型是Transformer，Bert完成的预训练任务是：完形填空（通过基本语言单元掩码）；上下句预测。 Bert模型的缺陷是：只能捕获局部的语言信号，缺乏对句子全局的建模，从而难以学习到词、短语、实体的完整语义。 Bert模型的训练任务之一是掩码语言模型，它将单个的字(中文)、词(英文)进行随机mask标记后，去预测被mask的值。掩码语言模型使得Bert具有良好的效果，但同时巨大的缺陷是将句子的字与字或词与词之间的关系拆散
BERT与知识图谱的结合——ERNIE模型浅析
朝闻道
02-16 9437
在nlp领域中，自然语言表征模型由于可以让机器更好地理解人类语言，因此越来越受到人们的关注，其中具有代表性的就是BERT模型，它通过在大量的语料库上进行预训练的方式来实现对于文本语义的理解。简单来说，BERT先随机mask掉一些单词，然后再通过上下文预测的方式来实现语言表征，得到预训练模型后，再针对性地对预训练模型进行微调，就能完成一些nlp的下游任务。 通过分析BERT模型我们可以发现，它虽然考虑了上下文语义，但是还是缺少了一些东西，那就是知识信息。换句话说，BERT模型通过在大量语料的训练可以告诉我们
基于百度自研模型ERNIE进行事件抽取任务
m0_63642362的博客
12-05 3034
基于ERNIE模型，在DuEE1.0数据集上实现事件抽取功能。可以用于知识图谱，搜索等场景。
自然语言处理NLP——ERNIE-M：基于回译机制的“预训练-微调”多语言模型
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
12-01 5371
本篇博客主要介绍一种基于回译机制的预训练-微调多语言模型——ERNIE-M。
ERNIE（二妮儿）模型初探
卡布达
06-17 1699
ERNIE 1.0 1.0版本较BERT更改较少，结构如上图，主要表现在三个方面：（1）调整MASK策略；（2）增加异质数据；（3）增加DLM（Dialogue Language Model）任务。 （1）调整MASK策略 BERT中是随机MASK掉15%的words，并尝试在MLM任务中恢复。而ERNIE模型ERNIE的mask的策略是通过三个阶段学习的，在第一个阶段，采用的是BERT的模式，用的是basic-level masking，然后在加入词组的mask(phrase-level masking
百度ERNIE 1.0模型概述与预训练模型标签
资源摘要信息:"百度ERNIE1.0是一款由中国互联网公司百度开发的深度学习模型，属于自然语言处理(NLP)领域中的预训练语言表示模型。ERNIE代表Enhanced Representation through kNowledge Integration，意味着该模型...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值