DisenE: Disentangling Knowledge Graph Embeddings

最新推荐文章于 2022-09-23 17:03:57 发布
最新推荐文章于 2022-09-23 17:03:57 发布
阅读量422 收藏
点赞数
分类专栏： 知识图谱 文章标签： 自然语言处理 深度学习 知识图谱
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42397330/article/details/113440479
版权

解耦知识图谱嵌入

创新点：本文利用注意力机制将实体的表示分解为了多个部分

1 动机

  • 以往对知识图谱嵌入的研究，通常是基于黑盒模型的，这导致很难对学习到的表示进行解释
  • 于是本文引入注意力机制，根据实体之间的关系，使模型显式集中在实体嵌入的几个component(我将其称为组成部分)，简单来说，学习的实体表示可以解耦为多个向量

2 举例

在这里插入图片描述

  • 实体 “David Beckham” 可能包括几个组成部分，例如，“Characteristic”、“Work”、“Family”、"Places"等
  • 对于关系 “country”、“live_city”，实体 “David Beckham” 应该集中在"Places"；对于关系"team_of"，实体 “David Beckham” 应该集中在"Work"。

注意：从这个例子，我们就可以看出一个实体可能包含多个组成部分，也就是可以将实体嵌入分为多个独立的部分

3 模型架构

在这里插入图片描述

该示意图给出的 l=4 K=3 l表示关系嵌入维度，K表示组成的个数

简单理解：首先根据关系，计算出每一部分(component)的注意力系数，然后和对应部分的表示相乘后相加，就得到了最终的分数

3.1 part one

在这里插入图片描述

符号介绍：l表示关系嵌入的维度，d表示实体嵌入的维度，K表示component的个数，l=d/K

公式理解：第一个公式就是将头实体的第k个部分、关系和尾实体的第k个部分拼接在一起，然后和W1(训练参数)相乘，最后利用relu函数激活，得到的应该就是一个标量；第二个公式就是softmax

大家肯定存在一个疑问，这样做到底有什么用？

用通俗的话解释一下，一个实体有K个部分，此处的注意力系数算的是什么呢？算的是关系r和K个部分的相关性，如果更相关，我们应该给关系r很高的权重，也就是注意力系数

3.2 part two

在这里插入图片描述在这里插入图片描述

第一个是TransE模型学习的公式；第二个是ConvKB模型的公式(如果不懂可以去看一下这篇论文，非常值得一读)

根据part one得到的注意力系数，然后和TransE或者ConvKB计算得到的表示相乘后相加，W2(训练参数)，可以得到最终的分数

3.3 train

在这里插入图片描述

loss分为以下三部分
其中 β 和 η 表示对应部分的权重

在这里插入图片描述

在这里插入图片描述

第一个公式 当三元组存在时，y=1，反之，y=-1 ；loss要尽可能的小，所以当y=1时，f要尽可能的小

第二个公式说 一个关系应该关注不同实体的相同component ，N=50时训练效果最好

第三个公式说 一个关系关注的component应该少一点，m=2时训练效果最好

【CIKM 2021】推荐系统相关论文分类
发现问题，并解决问题，批判性思维
01-12 2150
第30届国际信息与知识管理大会（The 30th ACM International Conference on Information and Knowledge Management, CIKM 2021）计划于2021年11月1日-11月5日在线召开。ACM CIKM是CCF推荐的B类国际学术会议，是信息检索和数据挖掘领域最重要的学术会议之一。这次会议共收到1251篇长文（Full paper）、290篇应用文（Applied paper）和626篇短文（Short paper）投稿，有271篇长文、
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
KnowledgeGraphEmbeddingsViaPairedRelationVectors_PairRE
05-24
PairRE 纸代码。 这对于PairRE实施数据集（ogbl-wikikg和ogbl-biokg）是基于 。 感谢您的贡献。 设置 要运行代码，您需要以下依赖项： 结果 PairRE在ogbl-wikikg ， ogbl-biokg和ogbl-wikikg2上的结果如下。 ogbl-wikikg ＃暗淡 ＃参数 硬件 测试MRR 有效的MRR PairRE 100 250,167,400 16GB GPU 0.4912±0.004 0.5013±0.004 PairRE 200 500,334,800 16GB GPU 0.5289±0.003 0.5529±0.001 生物蛋白 ＃暗淡 ＃参数 硬件 测试MRR 有效的MRR PairRE 2000 187,750,000 16GB GPU 0.8164±0.0005 0.8172±0.
【知识图谱解耦系列】DisenE: Disentangling Knowledge Graph Embeddings
qq_42397330的博客
08-03 731
DisenE: Disentangling Knowledge Graph Embeddings 论文来源：未知 论文地址：https://arxiv.org/pdf/2010.14730v1.pdf 代码地址：https://github.com/1599144219/DisenE 1. argue的问题 目前的知识图谱嵌入方法学习到的表示都是不可解释的 2. motivation的来源 实体携带了丰富的信息，这应该被划分为多个组件 不同的关系对实体的表示有不同的影响 3. contribu
GNN-CS224W:10 Knowledge Graph Embeddings
u012492756的博客
03-19 281
Heterogeneous Graph 有不止一种edge、node的graph就是Heterogeneous Graph Heterogeneous Graph可以用4元组来表示：G=(V,E,R,T)G=(V,E,R,T)G=(V,E,R,T) 其中vi∈Vv_i \in Vvi​∈V表示node，node 的type可以通过T(vi)T(v_i)T(vi​)得到 edge用3元组表示(vi,r,vj)∈E(v_i, r, v_j) \in E(vi​,r,vj​)∈E，关系r∈Rr \in Rr∈R
9-Knowledge Graph Embeddings
m0_50976935的博客
09-23 388
G=(V,E,R,T)，分别代表节点，边，边类型，节点类型。
CS224W摘要10.Knowledge Graph Embeddings
老毛的博客
09-27 1300
文章目录Heterogeneous Graphs and Relational GCN (RGCN)Heterogeneous GraphsRGCNblock diagonal matricesBasis/Dictionary learningLink Prediction CS224W: Machine Learning with Graphs 公式输入请参考：在线Latex公式 主要内容： 1.介绍 异质图heterogeneous graph的概念和异质图经典baseline：relational G
CVPR2018下载+CVPR2018论文百度云+2018CVPR论文下载+2018CVPR百度云
王博（Kings）的博客
06-25 5025
链接：https://pan.baidu.com/s/1QUXtDp5RQVNx-R55TkL13Q 提取码：
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7499
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
fnn求解嵌入维度
10-17
matlab用fnn求解嵌入维度，对非线性时间序列分析，混沌数据分析
嵌入维数-相空间重构理论
06-16
Cao法求嵌入维数ｍ，计算最优嵌入维数ｍ和最佳延迟时间τ, 重构相空间
cs224w-图机器学习-2021冬季课程学习笔记-10 Knowledge Graph Embeddings
weixin_43963453的博客
08-28 1102
Knowledge Graph Embeddings一、 Heterogeneous Graphs and Relational GCN (RGCN)1.Heterogeneous Graphs and Relational GCN (RGCN)2.Relational GCN（1） block diagonal matrices（2）basis learning3.RGCN链路预测应用（1）验证集、训练集的划分（2）边的得分函数（3）负采样的方法（4）训练流程（5）验证、测试阶段二、 Knowledge
cs224w（图机器学习）2021冬季课程学习笔记12 Knowledge Graph Embeddings
诸神缄默不语的博客
07-07 4076
cs224w（图机器学习）2021冬季课程学习笔记12 Knowledge Graph Embeddings 1. Heterogeneous Graphs and Relational GCN (RGCN) 2. Knowledge Graphs: KG Completion with Embeddings 3. Knowledge Graph Completion: TransE, TransR, DistMult, ComplEx
知识图谱经典方法 Knowledge Graph Embedding：从TransE，TransH到TransR
给我也整一个
11-05 6577
1.背景 KG Embedding可以建立实体到实体的关联。
简单实现几篇知识图谱嵌入(Knowledge Graph Embedding，KGE)模型
xhsun的博客
11-07 1万+
两个问题 KGE可以用来做什么？ KGE的诸多方法？ 下面来聊聊上面提出的两个问题 KGE可以用来做什么？ 知识图谱KG，特别是开放域知识图谱，一定是不完整的，因为不可能穷举所有实体，而实体之间的各种关系也不可能都一一存在。 连接预测(link prediction)任务，也叫知识图谱补全。就是利用当前KG中的实体和关系去推理出新的实体或者关系。 比如给定(h,r,?)，其中h是头实体，r是关系，我们想知道尾实体是什么。或者给定(h,?,t)，想知道r是什么。这就是连接预测任务，目的是补全知识图谱。 有
Towards Understanding the Geometry of Knowledge Graph Embeddings理解
dreamweaverccc的博客
03-16 807
Chandrahas et al. 2018 ACL. 论文背景 知识图谱的embedding方式有多种，可按得分函数(score function)的计算表达式分为“加法模型”和“乘法模型”两类（见下图1）。本文提出新的度量指标，研究各种embedding方式的几何(geometry)性质。 图1：知识图谱embedding得分函数分类 度量指标 ATM(alignment to mean)...
阅读文章：Incorporating Knowledge Graph Embeddings into Topic Modeling
smileyk的专栏
10-13 1227
阅读文章：Incorporating Knowledge Graph Embeddings into Topic Modeling这是一篇发表到AAAI-17的Oral的文章：Incorporating Knowledge Graph Embeddings into Topic ModelingIntroduction：主体模型PLSA或者LDA作为无监督模型，若没有人类领域知识的帮助，得到的主题经
Learning Entity and Relation Embeddings for Knowledge Graph Completion (TransR)论文翻译
鲁鲁晓生
03-28 3338
整理转自：fffnull 的 CSDN 博客，感谢他的翻译分享 论文原文地址：Learning Entity and Relation Embeddings for Knowledge Graph Completion
Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks
最新发布
03-09
### Program of Thoughts Prompting 方法中的计算与推理分离 在数值推理任务中，Program of Thoughts (PoT) Prompting 方法通过生成可执行的编程代码来表示逻辑推理步骤，而不是直接提供完整的解决方案或计算路径。这种方法允许将复杂的推理过程分解成更易于管理和验证的小部分[^1]。 具体而言，在处理数值推理问题时，PoT 提出了一个框架，其中推理被编码为一系列可以由外部工具（如Python解释器）执行的具体操作指令。这意味着实际的算术运算和其他类型的数值处理是由专门设计用于此类任务的语言特性来承担的，而模型本身则专注于构建正确的算法结构和流程控制语句[^2]。 这种做法不仅简化了模型内部的工作负载，还使得整个系统的灵活性大大增加——因为只要改变所使用的脚本语言或者引入新的库函数就可以轻松扩展功能范围。此外，由于最终产生的是一段清晰易读且能够独立运行的源码文件，因此也便于后续的人工审查以及错误排查工作。 ```python def calculate_interest(principal, rate, time): """Calculate compound interest using the formula A=P(1+r)^t""" amount = principal * ((1 + rate) ** time) return round(amount, 2) # Example usage demonstrating separation between logic and computation logic_description = """ Given a principal P=1000 dollars at an annual interest rate r=0.05 over t=3 years, we want to find out how much money will accumulate after this period. """ print(f"{logic_description}\nThe accumulated value is ${calculate_interest(1000, 0.05, 3)}.") ``` 上述例子展示了如何利用 Python 函数 `calculate_interest` 来封装具体的利息计算细节，而在描述性的字符串变量 `logic_description` 中仅保留高层次的任务说明。这种方式体现了 PoT 如何有效地实现了计算过程同推理表述之间的解耦合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值