知识图谱论文阅读（十六）【WWW2019】Knowledge Graph Convolutional Networks for Recommender

最新推荐文章于 2022-07-02 16:01:20 发布
最新推荐文章于 2022-07-02 16:01:20 发布
阅读量1k 收藏 10
点赞数 4
分类专栏： 知识图谱 文章标签： 知识图谱 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35222729/article/details/120115881
版权

在这里插入图片描述
题目： KGCN
论文链接：
代码链接：https://github.com/hwwang55/KGCN

想法

  • 高阶的意思就是multi-hop的意思
  • 注意是从外向里聚合的，第h-1跳是外侧，第h跳是里侧！ 所以才有聚合邻居和本身之说

创新

摘要

为了充分利用KG中的信息，我们会扩展某个实体的感受野到multi-hop来捕获KG的高阶结构信息和语义信息。

数据集： 电影、书籍和音乐推荐

Introduction

常用的KGE方法侧重于建模严格的语义相关性(如TransE[1]和TransR[12]假设头+关系=尾)，更适合KG补全和链接预测等图内应用，而不是推荐。 一种常见的方法是设计一种图算法来利用图结构！ 也就是在图上传播信息，原始的基于图的在于手工建立meta-path/meta-graph，之后是建立某种规则来建立meta-path/meta-graph； RippleNet虽然可以有效在KG中传播user preference，探索它们的层次兴趣，但是由于关系矩阵 R R R没有得到很好的训练，关系的重要性被弱化了！ 同时，随着KG的增大，ripple set的multi-hop的大小变得不可预测，这将导致大量的计算和存储开销。

KGCN的核心思想是在计算给定实体在KG中的表示时，对带有偏差的邻域信息进行聚合和合并，这样的设计有两个优点：（1）通过邻域聚合，local proximity structure（局部邻近结构）被成功捕获并存在每个实体里。（2）邻居的权重取决于连接关系和特定用户的得分，体现了KG的语义信息和用户的个性化兴趣； 同时由于邻居的大小是变化的，因此我们会选择固定大小领域作为接收域！

2 RELATED WORK

GCN可分为光谱方法和非光谱方法。谱方法在谱空间中表示图并进行卷积。相比之下，非谱方法直接对原始图进行操作，并为节点组定义卷积。

我们的方法也连接到PinSage[21]和GAT[15]。但请注意，PinSage和GAT都是为齐次图设计的。我们的主要贡献就是在异构图的推荐系统上提供新视角。

3 KNOWLEDGE GRAPH CONVOLUTIONAL NETWORKS

常规的定义：
用户：
在这里插入图片描述
item：
在这里插入图片描述在这里插入图片描述
交互矩阵：
在这里插入图片描述
三元组：
在这里插入图片描述
目标：
在这里插入图片描述

3.2 KGCN Layer

下面我们考虑单个KGCN层：
先用r和u来计算出该r对u的重要性； 同时r连接了v， 那么v对u的特征汇聚就好求了。 该关系也就表明了u对v的兴趣！

我们考虑user u和item v的候选对，我们使用 N ( v ) \mathcal{N}(v) N(v)表明了直接和 v v v相连的实体的集合， r e i ， r e j r_{e_i}，r_{e_j} rei​​，rej​​表明了两个实体之间的关系。

  1. 首先：我们也会使用一个函数 R d × R d − > R \mathbb{R}^d \times \mathbb{R}^d -> \mathbb{R} Rd×Rd−>R(比如内积)来计算一个user和一个relation之间的分数：
    在这里插入图片描述
    在这里插入图片描述
    关系的意思就是说一个人喜欢看该电影是因为明星，但是另一个人看该电影却是为了导演。

  2. 同理， 为了描述item v的拓扑邻近结构，我们计算v的邻居的线性组合：
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    其中 e \mathrm{e} e表示了实体 e e e的表示

User-relation scores充当了个性化的过滤器在计算v的邻居的线性组合时。

  1. 设计邻居大小
    因为在真实世界中，一个实体的邻居在不同的实体之间是大不相同的！为了保证每批计算模式固定和更有效，我们只取固定大小的邻居，而不是全部。 具体的，我们取实体 v v v的邻居表示为 v S ( v ) u v_{S_{(v)}}^u vS(v)​u​，其中 S ( v ) ≜ { e ∣ e ∼ N ( v ) } \mathcal{S}(v) \triangleq\{e \mid e \sim \mathcal{N}(v)\} S(v)≜{e∣e∼N(v)}，并且 ∣ S ( v ) ∣ = K \left | \mathcal{S}(v) \right | = K ∣S(v)∣=K是固定的，因此呢 S ( v ) S(v) S(v)也被称为是实体 v v v的接受野！！！ 下图左侧就是一个layer-2的实例，其中K设置为2，中心实体是蓝色的，被选中的邻居是绿色的！注意是从外侧向里的聚合的！

在这里插入图片描述

  1. 聚合实体表示和其邻居表示为单一向量 R d × R d − > R d \mathbb{R}^d \times \mathbb{R}^d -> \mathbb{R}^d Rd×Rd−>Rd

  • Sum aggregator 取两个表示向量的和，然后进行非线性变换:
    在这里插入图片描述

  • Concat aggregator在进行非线性变换之前，先将两个表示向量连接起来:
    在这里插入图片描述

  • Neighbor aggregator 直接取实体的邻域表示作为输出表示:
    在这里插入图片描述
    我们将在实验中评估三种聚合器！

3.3 学习算法

high-order： 就是多层邻居，或者说multi-layer； 而一个high-oder表示是它自身和它的邻居的初始表示的混合！

H H H表明了感受野的最大的深度（或者说是迭代的次数），后缀[h]表示是 h h h-order。对于一个user-item对 ( u ， v ) (u，v) (u，v)，我们首先以逐层迭代的方式计算 v v v的感受野 M M M，这里 M [ i ] M[i] M[i]就表示了 v v v第i阶的所有实体！！可以想象成字典，每个key值下有多个点 (line 3, 13-19)，然后聚合重复 H H H次 (line 5)，在迭代h中，我们计算每个实体的邻域表示 e ∈ M [ h ] ， 也 就 是 求 每 个 邻 居 实 体 的 嵌 入 e \in M[h]，也就是求每个邻居实体的嵌入 e∈M[h]，也就是求每个邻居实体的嵌入(line 7)，然后用它自己的表示 e u [ h − 1 ] \mathrm{e}^u[h-1] eu[h−1]来聚合得到下一次迭代中使用的值，因为我们每个实体表示都是由本身和其邻居的聚合表示的(line 8)，最后的h阶实体表示表示为 v u \mathrm{v}^u vu(line 9)，最终放到一个得分函数中：
在这里插入图片描述
为了提高计算效率，我们在训练过程中使用了负采样策略。完全损失函数为:

4 EXPERIMENTS

Experiment Setup

Results

在这里插入图片描述

会发现如下结论：

  • KGCN更适应于稀疏矩阵
  • KG-free基线SVD、LibFM比KG-aware基线PER和CKE效果更好，表明了PER和CKE没有充分利用手工设计的metapath和TransR-
    like regularization
  • LibFM + TransE是比LibFM更好，说明KGE的重要性
  • PER最差，因为在现实中很难定义最优元路径
  • RippleNet表现更好，因为也用了邻居！

而且发现KGCN-sum是综合最好的

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结和未来的方向

我们指出了未来工作的三个途径。
(1)在这项工作中，我们一致地从一个实体的邻居中取样，以构建其接受域。探索非均匀采样器(如重要采样)是今后工作的一个重要方向。
(2)本文(以及所有文献)关注于item-end KGs的建模，未来工作的一个有趣方向是研究利用user-end KGs是否有助于提高推荐性能。
(3)设计一种能很好地组合两端KGs的算法也是一个很有前途的方向。

追赶早晨
关注
专栏目录
Knowledge Graph Convolutional Networks for RecommenderSystems
Angeliaaa的博客
03-02 2008
RippleNet将用户的兴趣在知识图谱上传播来抽取用户特征。那么我们是否可以将物品的特征在知识图谱上传播来抽取物品特征呢？KGCN模型随之产生。KGCN模型如下如所示。以一个物品为起点传播两次的情况如图a所示。每一个物品的特征矢量为与该物品直接相连的外层物品特征矢量的和，如图b所示。并且重点是在相加之前使用了注意力机制，决定注意力权重的因素有用户特征和关系特征，这样让推荐的结果具有个性化。 KGCN思想： 首先设用户是U，用户向量表示为u，物品为V，物品向量表示为...
Knowledge Graph Convolutional Networks for Recommender Systems
qq_41621342的博客
03-01 4858
Knowledge Graph Convolutional Networks for Recommender Systems ABSTRACT 背景 为了减轻基于协作过滤的推荐系统的稀疏性和冷启动问题，研究人员和工程师通常收集用户和项目的属性，并设计精细的算法目的是利用这些额外的属性信息。一般来说，属性不是孤立的，而是相互联系的，形成了一个知识图谱（KG）。 创新点 提出了知识图卷积网络（KGCN...
KGCN：Knowledge Graph Convolutional Networks for Recommender Systems
BLOG of iJX
03-10 1660
Introduction Advantages of KG-based RS 将KG整合进推荐系统具有以下3种优点： KG中的item之间具有丰富的语义关联性，可以帮助探索它们之间的潜在联系，并且提高预测结果的准确性。 KG中具有各种各样的关系，有助于合理地扩展 user的兴趣，并增加推荐item的多样性。 KG连接了user的历史喜欢、推荐item，从而为RS引入了可解释性。 Challenges of KG-based RS 但是，由于KG具有高维度、异质性，在RS中应用KG十分具有挑战性。 一种可
论文阅读：Knowledge Graph Convolutional Networks for Recommender Systems
给我也整一个
11-01 4111
1. Motivation 融合吸收side-information是缓解CF冷启动问题的一种解决方案，但是真实场景中的物品属性并不是isolated，它们之间彼此相连。简单的拼接或者非线性交互并不能很好的提取到这些属性之间的关联。为此，我们可以将物品和描述物品的属性放在一张知识图谱里面考虑，并且用GCN的方式吸收邻居的表达，并且随着迭代次数的增加，可以提取到用户“长距离”的兴趣，这在普通MLP...
Knowledge Graph Convolutional Networks for Recommender Systems with Label Smoothness Regularization
lisa丶
12-07 1446
标签平滑正则化推荐系统的知识图卷积网络 . 摘要 1. 介绍 2. 现有工作 3. 问题表述 4. 我们的方法：KGCN-LS 4.1 图卷积神经网络 4.2 讨论 4.3 标签平滑正则化 4.4 小批量实施 5. 实验 5.1 数据集和基线 5.2 验证G和Y之间的连接 5.3 结果 5.4 运行时间分析 6....
【论文笔记】KGCN：知识图谱 + 图卷积神经网络的推荐系统
HicSuntLeones
02-09 4531
Knowledge Graph Convolutional Networks for Recommender Systems Hongwei Wang, Miao Zhao, Xing Xie, Wenjie Li, Minyi Guo. In Proceedings of The 2019 Web Conference (WWW 2019) 论文原文（arXiv）：https://arxiv.org/pdf/1904.12575v1.pdf 源码：https://github.com/hwwang55.
KGIN 2021（WWW）Learning Intents behind Interactions with Knowledge Graph for Recommendation
TVfan的博客
03-18 4621
背景 利用知识图谱的结构信息进行嵌入丰富物品表示 Learning Heterogeneous Knowledge Base Embeddings for Explainable Recommendation（2019） Unifying Knowledge Graph Learning and Recommendation: Towards a Better Understanding of User Preferences（2019） Collaborative Knowledge Base Embe
知识图谱最新权威综述论文解读：知识图谱应用部分
ngl567的博客
02-28 1129
知识图谱在人工智能的许多领域都发挥了重要作用，综述论文的这一章引入多个最新的基于深度学习的知识驱动方法，主要包括的应用领域有自然语言理解，推荐系统和问答系统。 1 自然语言理解 知识感知的自然语言理解通过将结构化的知识注入一个统一的语义空间中来提高语言表示能力。最新的知识驱动方法将显式的事实知识和隐式的语言表示用于许多自然语言理解任务中。Chen等人[1] 提出了在两个知识图谱上的双图随机游走方法，这两个知识图谱是基于槽的语义知识图谱和基于词的词汇知识图谱，以考虑口语理解中的内部槽关系。Wang等.
卷积神经网络流程图_斯坦福大学最新论文｜知识图卷积神经网络在推荐系统中的应用...
weixin_39746382的博客
11-30 351
推荐系统广泛应用于互联网应用和服务中。传统的协同过滤推荐算法通常会遇到用户-物品交互的稀疏性问题和冷启动问题，可以通过引入额外的信息来解决，如用户/物品属性信息和社交网络。近年来,为了解决上述问题，一些学者考虑将知识图谱与推荐系统相结合。具体来说，推荐系统中的每个物品可以对应为知识图谱中的实体，而实体与实体之间的连接路径则提供了物品之间丰富的连接关系。利用这些信息可以一定程度减轻稀疏性及冷启动，增...
[论文阅读] KGAT: Knowledge Graph Attention Network for Recommendation
qq_31225201的博客
07-02 1006
原文：https://arxiv.org/pdf/1905.07854.pdf 代码：https://github.com/xiangwang1223/knowledge_graph_attention_networkWhat: 为了提供更准确、多样化和可解释的建议，必须超越对用户-物品交互的建模，并考虑到附加信息（比如KG）。在本文中，我们研究了知识图(KG)的效用，它通过将项目与其属性联系起来，打破了独立交互假设。（通过将 KG 和user-item graph结合起来，捕捉高维连接）【高维连接：wh
Knowledge_Graph_Reasoning_Papers:必读的知识图推理论文
04-29
知识图推理论文 主要由，并维护。 感谢GitHub上所有杰出的贡献者！ 内容 4.1基于路径的查询 4.2复杂逻辑查询 4.3复杂自然语言查询 5.基准与评估 致谢 1.调查文件 评论：知识图上的知识推理。 陈晓军，贾胜斌，杨翔。 具有应用程序的专家系统。 纸 2.多跳推理 2.1实体预测 预测丢失的尾部实体和相应的支撑路径为三分之一。 （h，r，？）->（h，r，t） 散步并到达答案：使用强化学习对知识库中的路径进行推理。 拉贾尔·达斯（Rajarshi Das），谢赫扎德·杜利亚瓦拉（Shehzaad Dhuliawala），曼齐尔·扎海尔（Manzil Zaheer），卢克·维尔尼斯（Luke Vilnis），伊桑·杜鲁格卡（Ishan Durugkar），阿克舍·克里希那穆提（Alexs Smola），安德鲁·麦卡勒姆（Andrew McCallum）。 ICLR 20
NGNN:[WWW 2019]“整体着装”的代码和数据集
05-04
神经网络 WebConf2019中论文的代码和数据集：整体着装：基于节点图神经网络的服装兼容性学习 纸质数据和代码 这是WWW-2019论文：的代码。 我们已经在Tensorflow中实现了我们的方法。 我们首先在本文中提出我们在论文中使用的原始Polyvore数据集。 下载数据集后，您可以将它们放在文件夹NGNN/data/ ： 您可以在这里下载预处理的数据，并将它们放在NGNN/data/文件夹中。 文件夹NGNN/data/包含一个小的数据集sample ，可用于测试代码的正确性。 用法 数据预处理被写入./data/README.md 然后，您可以运行文件NGNN/main_score.py来训练模型。 您可以根据NGNN/Config.py的用法更改参数： parameters arguments in ` NGNN/Config.py ` : epoch_n
论文阅读 Knowledge Graph Embedding via Graph Attenuated Attention Networks
qq_41669355的博客
11-24 1104
Knowledge Graph Embedding via Graph Attenuated Attention Networks 基于图衰减注意网络的知识图嵌入 发表于 Digital Object Identifier 10.1109/ACCESS.2019.2963367 摘要：知识图包含丰富的现实世界的知识，可以为人工智能应用程序提供强有力的支持。知识图的补全已经取得了很大的进展，最先进的模型是基于图卷积神经网络的。这些模型自动提取特征，结合图形模型的特征，生成具有较强表达能力的特征嵌入。但是，这些
Knowledge Graph Convolutional Networks for Recommender的数据处理问题
三金samkam的博客
12-27 595
Knowledge Graph Convolutional Networks for Recommender
KGCN 论文阅读笔记
m0_52571898的博客
01-17 2055
KGCN 论文笔记，论文讲述了卷积图神经网络在知识图谱上的应用。定义了KGCN，并将其应用于推荐系统。
Graph Convolution Network图卷积网络（一）训练运行与代码概览
热门推荐
祥瑞的技术博客
04-18 1万+
背景：看懂并运行Graph Convolution Network的pytorch代码。 代码地址：https://github.com/tkipf/pygcn 论文地址：https://arxiv.org/abs/1609.02907 Semi-Supervised Classification with Graph Convolutional Networks，ICLR 2017 目录 ...
《SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》代码详解（Tensorflow版）
LIYUO94的博客
06-11 1529
paper链接 code链接 文件目录结构： 运行要求： ‘numpy>=1.15.4’, ‘tensorflow>=1.15.2,<2.0’, ‘networkx>=2.2’, ‘scipy>=1.1.0’ setuptools==40.6.3 可通过bash运行setup.py 安装运行必要的包版本。 数据集： 载入数据的维度（以Cora数据集为例） adj(邻接矩阵)：由于比较稀疏，邻接矩阵格式是LIL的，并且shape为(2708, 2708) features
Graph Convolutional Networks
梦码城博客中心
04-30 745
1. 摘要 我们介绍了一种在图结构数据上可扩展的半监督学习方法，该方法是基于一种高效的有向图卷积神经网络变体。我们通过谱图卷积局部一阶近似来激励我们的卷积架构的选择。我们的模型在图边的数量上线性缩放，并且学习隐藏层对局部图结构和节点特征进行编码的表示。在大量的基于引用网络与知识图谱数据集上的实验中我们证明我们的方法表现比起相关方法具有很大的优势。 2. 相关符号表示 KaTeX parse error: Undefined control sequence: \cal at position 4: {{
graph convolutional networks for text classification
最新发布
03-16
图卷积网络（Graph Convolutional Networks，简称GCN）在文本分类任务中的应用是指将文本数据表示为图结构，然后利用GCN模型从这个图中学习文本特征并进行分类。相比传统的基于词向量的文本分类方法，GCN可以充分...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值