语言三元组快速转制_[预训练语言模型专题] ENRIE(Tsinghua)：知识图谱与BERT相结合，为语言模型赋能助力...

最新推荐文章于 2023-05-28 22:56:23 发布
最新推荐文章于 2023-05-28 22:56:23 发布
阅读量498 收藏 2
点赞数
文章标签： 语言三元组快速转制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29818013/article/details/112685350
版权

dfd48648da33afb8baa0fa69906a0850.png

本文为预训练语言模型专题的第18篇。

快速传送门

1-4:[萌芽时代]、[风起云涌]、[文本分类通用技巧] 、 [GPT家族]

5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]

9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart]

13-16：[跨语种模型]、[XLNet]，[RoBERTa]、[SpanBERT]

17：[跨模态语言模型]

感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介绍的文章，绿框中为本期介绍的模型，欢迎大家留言讨论交流。

2b24357cf1bf9074b1ef84bb134dbdc6.png

ERNIE: Enhanced Language Representation with Informative Entities（2019）

在之前的一期推送中，我们给大家介绍过百度的ERNIE。其实清华大学NLP实验室，比百度更早一点，也发表了名为ERNIE的模型，即Enhanced Language Representation with Informative Entities。

他们认为现存的预训练语言模型很少会考虑与知识图谱（Knowledge Graph: KG）相结合，但其实知识图谱可以提供非常丰富的结构化知识和常识以供更好的语言理解。他们觉得这其实是很有意义的，可以通过外部的知识来强化语言模型的表示能力。在这篇文章中，他们使用大规模语料的语言模型预训练与知识图谱相结合，更好地利用语义，句法，知识等各方面的信息，推出了Enhanced language representation model（ERNIE），在许多知识驱动的任务上获得了巨大提升，而且更适用于广泛通用的NLP任务。

作者提出，要将知识嵌入到自然语言模型表达中去，有两个关键的挑战：

    最低0.47元/天 解锁文章
    范米索
    关注
    • 0
      点赞
    • 踩
    • 2
      收藏
      觉得还不错? 一键收藏
    • 0
      评论
    基于PaddlePaddle的对话情绪识别: 用ERNIE模型探索深度学习
    sybh的博客
    06-24 506
    ERNIE（Enhanced Representation through Knowledge Integration）是由百度研发的一种知识增强的语义预训练模型，该模型在许多中文NLP任务中已经展示出了优异的表现。模型闲聊客服微博BOW90.2%87.6%74.2%LSTM91.4%90.1%73.8%Bi-LSTM91.2%89.9%73.6%CNN90.8%90.7%76.3%TextCNN91.1%91.0%76.8%BERT93.6%92.3%
    中文预训练大模型—文心Ernie技术原理
    敷衍zgf的博客
    03-01 3609
    文心Ernie技术原理 一、背景技术 Ernie是基于Bert模型进行改进，基本模型是Transformer，Bert完成的预训练任务是：完形填空（通过基本语言单元掩码）；上下句预测。 Bert模型的缺陷是：只能捕获局部的语言信号，缺乏对句子全局的建模，从而难以学习到词、短语、实体的完整语义。 Bert模型的训练任务之一是掩码语言模型，它将单个的字(中文)、词(英文)进行随机mask标记后，去预测被mask的值。掩码语言模型使得Bert具有良好的效果，但同时巨大的缺陷是将句子的字与字或词与词之间的关系拆散
    BERT与知识图谱的结合——ERNIE模型浅析
    朝闻道
    02-16 8455
    在nlp领域中，自然语言表征模型由于可以让机器更好地理解人类语言，因此越来越受到人们的关注，其中具有代表性的就是BERT模型，它通过在大量的语料库上进行预训练的方式来实现对于文本语义的理解。简单来说，BERT先随机mask掉一些单词，然后再通过上下文预测的方式来实现语言表征，得到预训练模型后，再针对性地对预训练模型进行微调，就能完成一些nlp的下游任务。 通过分析BERT模型我们可以发现，它虽然考虑了上下文语义，但是还是缺少了一些东西，那就是知识信息。换句话说，BERT模型通过在大量语料的训练可以告诉我们
    一文读懂文心大模型ERNIE的技术、工具与平台
    PaddlePaddle
    11-04 3542
    文章整理自百度杰出研发架构师孙宇的主题演讲——文心大模型ERNIE的技术、工具与平台。文心大模型ERNIE技术分享文心ERNIE 3.0 Zeus2022年上半年，我们对文心ERNIE 3.0模型又做了进一步升级，提出了任务相关知识增强的千亿大模型文心ERNIE 3.0 Zeus。这个模型除了进行无标注数据和知识图谱的学习外，还通过持续学习算法对百余种不同形式的任务进行学习，以实现任务知识的增强。...
    深度学习进阶篇-国内预训练模型[5]：ERINE、ERNIE 3.0、ERNIE-的设计思路、模型结构、应用场景等详解
    最新发布
    丨汀、的博客
    05-28 2214
    ERINE是百度发布一个预训练模型，它通过引入三种级别的Knowledge Masking帮助模型学习语言知识，在多项任务上超越了BERT。在模型结构方面，它采用了Transformer的Encoder部分作为模型主干进行训练，如图1(图片来自网络)所示。图1 Transformer的Encoder部分关于ERNIE网络结构(Transformer Encoder)的工作原理，这里不再展开讨论。接下来，我们将聚焦在ERNIE本身的主要改进点进行讨论，即三个层级的Knowledge Masking 策略。
    【Pytorch基础教程36】基于Ernie预训练模型和Bert的新闻分类
    发现问题，并解决问题，批判性思维
    02-05 1932
    大模型的痛点： - 仅考虑单一粒度语义建模，缺乏多粒度知识引入，语义理解能力受限； - 受限于 Transformer 结构的建模长度瓶颈，无法处理超长文本； - 聚焦语言等单一模态，缺乏工业真实应用场景针对多个模态如语言、视觉、听觉信息的联合建模能力。 Ernie 2.0是百度在Ernie 1.0基础之上的第二代预训练结构。 模型结构与Ernie 1.0还有 Bert保持一致，12层的transformer的encoder层。- 受Bert mask策略的启发，提出一种新的语言表示模型，称为ERNIE(
    深度剖析知识增强语义表示模型——ERNIE
    mr2zhang的博客
    12-10 5300
    文章目录什么是语义表示静态词向量动态词向量（上下文词向量）位置编码ERNIE的原理介绍神经网络上的改造辅助任务学习过程ERNIE的应用案例性能不敏感的场景：直接使用ERNIE 的模型蒸馏案例：搜索问答Query识别和QP匹配离线推荐 无监督文本的深度神经网络的出现，nlp领域又火了起来，深度神经网络大大提升了nlp任务的效果。虽然早期的网络也是基于上下文进行的向量建模，但是由于单向信息流的弊端，效...
    超详细中文预训练模型ERNIE使用指南
    热门推荐
    Kaiyuan_sjtu的博客
    07-31 2万+
    写在前面 啊实习以后因为各种事就好久没写过博客了。最近在工作上处理的都是中文语料，也尝试了一些最近放出来的预训练模型（ERNIE，BERT-CHINESE，WWM-BERT-CHINESE），比对之后还是觉得百度的ERNIE效果会比较好，而且使用十分方便，所以今天就详细地记录一下。希望大家也都能在自己的项目上取得进展~ 1、A Glance at ERNIE 关于ERNIE模型本身的话这篇不会做...
    【预训练语言模型】ERNIE: Enhanced Language Representation with Informative Entities（ERNIE）
    夏栀的博客
    01-05 1547
    ERNIE: Enhanced Language Representation with Informative Entities（ERNIE）   前记： 【预训练语言模型】系列文章是对近几年经典的预训练语言模型论文进行整理概述，帮助大家对预训练模型进行全局的理解。本系列文章将不断更新，敬请关注博主。本文分享一个对BERT进行改进的预训练模型，其认为传统的预训练模型都只考虑了文本自身，而没有考虑到外部知识，因此作者在原有的预训练任务基础上，增加了一个结合知识图谱的预训练。   简称 ：Enhanced L
    知识图谱与bert
    UpUp的博客
    11-18 1643
    一、图谱补全 1.KG-BERT: BERT for Knowledge Graph Completion (计算三元组的分类、实体预测、关系预测都达到SOTA水平) 1.1背景和目的 三元组的知识图谱在完整度上还有很大的差距 ，评估图谱中不存在的三元组的合理性。 现有方法中，其一 knowledge graph embedding，由于图谱稀疏性只用了结构信息。 其二，使用了文本信息，忽略了上下文下信息 本文方法：将实体和关系视为文本序列，将补全问题视为序列分类问题。之后fine-tune bert来实现
    paddlehub的ernie模型介绍.zip
    08-13
    深度学习工具paddlehub中的ernie模型的相关论文。想学习paddlepaddle，深度学习。NLP的人可以下载下来看看。
    基于ERNIE2.0文心大模型实现中文短文本分类任务
    CSDN 精品推荐
    12-28 1561
    文心·NLP大模型，面向语言理解、语言生成等NLP场景，具备超强语言理解能力以及对话生成、文学创作等能力。创新性地将大数据预训练与多源丰富知识相结合，通过持续学习技术，不断吸收海量文本数据中词汇、结构、语义等方面的新知识，实现模型效果不断进化。
    基于飞浆ERNIE3.0百亿级大模型实现中文短文本分类任务
    CSDN 精品推荐
    12-29 1497
    ERNIE 3.0 (Large-Scale Knowledge Enhanced Pre-Training for Language Understanding And Generation) 是基于知识增强的多范式统一预训练框架。在 ERNIE 3.0 中，自回归和自编码网络被创新型地融合在一起进行预训练，其中自编码网络采用 ERNIE 2.0 的多任务学习增量式构建预训练任务，持续的进行语义理解学习。 通过新增的实体预测、句子因果关系判断、文章句子结构重建等语义任务。同时，自编码网络创新性地增加了知识
    还在用BERT做文本分类？分享一套基于预训练模型ERNIR3.0的文本多分类全流程实例【文本分类】
    风起云扬的博客
    01-01 4736
    文本分类任务是自然语言处理中最常见的任务之一。文本分类简单定义来说就是对给定的文本，可以是一句话、一段文本、一篇文章利用文本分类器进行分类和打标签。文本分类任务广泛应用于长短文本、情感分析、新闻分类、事件类型分类、政务信息分类、商品类型分类、文章类型分类、论文类别、专利领域、案件描述、罪名分类、意图分类、论文专利分类、邮件自动分类、评论类型分类、药物反应分类、对话分类、税收分类、投诉分类、广告检测、敏感违禁内容分类、内容安全检测、预情分析、话题分类等等日常或者专业领域中。
    ERNIE 3.0 Titan：最强中文预训练模型
    yanqianglifei的专栏
    12-28 2650
    百度|ERNIE 3.0 Titan:探索更大规模的知识增强型语言理解和生成预训练 论文标题：ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation 论文链接：https://arxiv.org/abs/2112.12731 论文作者：作者：Shuohuan Wang, Yu Sun, Yang Xiang, Haifeng Wang .
    【原理】预训练模型之自然语言理解--ERNIE
    m0_63642362的博客
    11-12 1012
    讲解预训练模型之自然语言理解的改进：ERNIE
    【自然语言处理（NLP）】基于ERNIE语言模型的文本语义匹配
    m0_54754302的博客
    09-01 2966
    【自然语言处理（NLP）】基于ERNIE语言模型的文本语义匹配，基于百度飞桨开发，参考于《自然语言处理实践》所作。
    ERNIE转化为pytorch可用模型记录
    初级菜鸟
    12-13 3014
    据说ERNIE 在中文NLP 任务中比Bert更为优秀，看论文感觉是在bert基础上做了一些训练的技巧. https://github.com/nghuyong/ERNIE-Pytorch转化模型代码项目 测试代码附上可直接执行的： #!/usr/bin/env python # encoding: utf-8 import torch from pytorch_transforme...
    百度NLP预训练模型ERNIE2.0最强实操课程来袭！【附教程】
    qq_40247584的博客
    11-07 1619
    2019年3月，百度正式发布NLP模型ERNIE，其在中文任务中全面超越BERT一度引发业界广泛关注和探讨。经过短短几个月时间，百度ERNIE再升级，发布持续学习的语义理解框架ERNIE 2.0，及基于此框架的ERNIE 2.0预训练模型。继1.0后，ERNIE英文任务方面取得全新突破，在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA效果。 本篇内容可以说是史上最强实操课程，由...

    “相关推荐”对你有帮助么？

    • 非常没帮助
    • 没帮助
    • 一般
    • 有帮助
    • 非常有帮助
    提交
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值