知识增强图语义理解技术

最新推荐文章于 2024-10-12 10:27:59 发布

Necther

最新推荐文章于 2024-10-12 10:27:59 发布

阅读量1.2k

点赞数

文章标签：知识图谱自然语言处理人工智能

本文链接：https://blog.csdn.net/u011983997/article/details/122703973

版权

在这里插入图片描述

公众号系统之神与我同在

本文包含四个部分:

1、语义理解与图（预训练模型与外部知识）

2、ERNIESage（语义图理解技术）

3、知识增强预训练（隐式与显式知识表示）

4、工业应用落地（案例介绍）

语义理解与图
在这里插入图片描述
文本匹配的多种视角

在这里插入图片描述

ERINE的辉煌胜绩

更强ERNIE模型的使用，可访问文心平台： https://ai.baidu.com/easydl/nlp/

GraphSage的介绍

GraphSAGE源于图卷积网络
在这里插入图片描述
图像卷积将一个像素点周围的像素按照不同的权重叠加起来。

在这里插入图片描述
图结构卷积将一个节点周围的邻居按照不同的权重叠加起来。

图像取样和聚合

在这里插入图片描述
已有方法对文本+图的局限

项目代码：https://github.com/PaddlePaddle

文本图的来源：知识引入

ERNIESage-Node节点语义理解

ERNIESage-Edge边的“单塔”聚合

ERNIESage-Node与ERNIESage-Edge对比

ERNIESage-1 Neighbor：邻居的单塔聚合
在这里插入图片描述
·用ERNIE来作为节点聚合函数实现邻居**“单塔”聚合**
·序不变性：互不相见Attention Mask，以及独立Position Embedding
·长度无限：Sampling机制、ERNIE Doc

ERNIESage-N Neighbor：多阶邻居的token-level深度聚合
在这里插入图片描述
结合Node和Edge的方案，将token-level的交互扩展到通用多层聚合
保留每一层的Token级别特征，并且每一层通过Multi-Head Attention交互

ERNIESage 4种模型总结

① 结合语义与结构信息的ERNIESage取得最好效果：MRR平均提升**+9.7%**

② ERNIESage横向比较：使用ERNIE建模邻居信息取得最优效果
在这里插入图片描述 ERNIESage在文本图推理TextGraph-14 Coling协办比赛中的应用

2006年开始举办，今年为第14届
数据量少, 人工标注困难
挑战难度大, 基于图的多步推理
任务目标：在解释图中进行多步文本推理，召回出符合推理过程的若干节点
在这里插入图片描述

ERNIESage在文本图推理TextGraph-14 Coling协办比赛中的应用