基于知识图谱和图卷积神经网络的应用和开发

hellolianhua

已于 2023-12-09 19:02:09 修改

阅读量235

点赞数

文章标签：知识图谱 cnn 人工智能

于 2023-11-12 14:45:28 首次发布

本文链接：https://blog.csdn.net/hellolianhua/article/details/134213666

版权

本文只是对《京东基于知识图谱和图卷积神经网络的应用和开发》的视频的笔记整理。

一深度学习CNN

深度学习的特点：

权重分配：权重矩阵，调参
层级结构：每一层训练结果依赖上一层
欧几里得空间数据：多维坐标去体现所在位置

1.1 图结构数据

现实中有大量数据是由非欧几里得结构。

社交网络
科学网络
通讯网络
多用户系统

传统的深度学习平台无法完整这类学习（CNNs和RNNs)，这类数据无法通过一维，二维和三维的欧几里得结构表达。

例如一个过滤器：第一层9个实体的权重和凝聚成第二层一个节点的值。

二图卷积背景和基本框架

2.1 图卷积基本框架

备注： $G(A ,H)$

邻接矩阵： $A\epsilon R^{N\ast N}$
特征矩阵： $H\epsilon R^{N*F}$ 将一个实体看成一个节点，实体具有的属性表示F（例如：鞋子：红色，35码）

关键：在节点和社区间进行信息传递

图讲解：输入一个邻接矩阵，特征矩阵点乘到每个节点进行训练，每次居于上一层训练（更新特征矩阵），然后分类，最后进行。

2.2 图卷积 GCN

图卷积网络的本质就是提取图结构的空间特征。图神经网络之GCN原理、示例及代码实现 - 知乎

图卷积和卷积神经网络的区别是：添加了相邻节点的因素，例如上图画圈的中心点的信息更新，只跟相连的4个点有关，这个根据第一个公式红色部分表示的。

$\widetilde{A}$ 代表邻接矩阵

$H^{(l)}$ 特征矩阵

$W^{(l)}$ 权重矩阵

$H^{(l+1)}=\sigma (\widetilde{A}H^{(l)}W^{(l)})$ 三个矩阵进行点乘，更新到下一个特征矩阵

上面这个公式存在的问题

邻接矩阵一般自己的点不存在自环，所以矩阵的对角点一般都是0，所以自己的信息没有考虑进去。
A没有进行归一化，度（相连的边）越大具有更大的特征值，会影响特征提取和模型收敛。

$\widetilde{D}$ 是度矩阵

$\widetilde{D}-\widetilde{A}$ 度矩阵-邻接矩阵，解决对角线的问题拉普拉斯矩阵（Laplacian matrix）及其变体详解-CSDN博客

归一化主要目的：把特征值均匀化，不想让差距特别大的影响特征提取。

$H^{(l+1)}=\sigma (\widetilde{D}^{-\frac{1}{2}}(\widetilde{D}-\widetilde{A})\widetilde{D}^{-\frac{1}{2}}H^{(l)}W^{(l)})$ 这个公式最后的结果是一个对称矩阵，并且每一行的和是1

$H^{(l+1)}=\sigma (\widetilde{D}^{-1}(\widetilde{D}-\widetilde{A})H^{(l)}W^{(l)})$

2.2.1 图卷积的演示

下面是对 $H^{(l+1)}=\sigma (\widetilde{D}^{-\frac{1}{2}}(\widetilde{D}-\widetilde{A})\widetilde{D}^{-\frac{1}{2}}H^{(l)}W^{(l)})$ 的一个演示。

上图中的 $H_{0}$ 和 W（权重不是特别特别重要）是视频作者随机生成的，至于最后的结果，我没太明白为什么1、2、4、5是一类，3和6是一类。

核心的创新：A,H

收敛求内积

2.2.2 图卷积：边信息嵌入

点转成边，边转成点的复杂度高，目前只适用于小部分数据。

2.2.3 半监督图分类

3层GCN模型

例1：

例2：

输入：节点：论文题目

边：引用的论文（有向图）

半监督：有些分类是我不知道的。全监督：知道所有的分类

图结构数据上的机器学习任务

节点预测：预测节点的类别或某类属性的取值

例子：对是否是潜在客户分类、对游戏玩家的消费能力做预测

边预测：预测两个节点间是否存在链接

例子：Knowledge graph completion、好友推荐、商品推荐

图的预测：对不同的图进行分类或预测图的属性

例子：分子属性预测

节点聚类：检测节点是否形成一个社区

例子：社交圈检测

其他任务
1. 图生成：例如药物发现
2. 图演变：例如物理模 ……

原文链接：https://blog.csdn.net/qq_35812205/article/details/117969648

学习的是特征矩阵。

图创新

积分重做

层数取决于训练的结果。

半监督学习图神经网络节点分类实践 - xine - 博客园 (cnblogs.com)

三基于知识图谱的图卷积

知识图谱G(A,X)

节点：每个实体

边：实体间的关系

特征：实体的性质

数据：

用户：U={ $u_{1}$ , $u_{2}$ ,...}

实体：V={ $v_{1}$ , $v_{2}$ ,...}

$y_{uv}=1$ 用户u与实体v有联系

关系：R={ $r_{1}$ , $r_{2}$ ,...}

特征：H矩阵

图卷积： $H^{(l+1)}=\sigma (\bar{D_{u}}^{-\frac{1}{2}}\bar{A_{u}}\bar{D_{u}}^{-\frac{1}{2}}H^{(l)}W^{(l)}),l=0,1,2,...,L-1.$

标签顺滑Label smoothness

例如：判断一张图是不是猫，结果是0或者1。我们将0、1这个值改成0.1跟0.9效果往往会更好。

总结就是对于机器学习的结果不要非常肯定，因为他可能错。所以在判断值的时候不要给得非常绝对。

四研究方向

五总结

hellolianhua

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
基于知识图谱和图卷积神经网络的应用和开发

本文只是对《京东基于知识图谱和图卷积神经网络的应用和开发》的视频的笔记整理。深度学习的特点：现实中有大量数据是由非欧几里得结构。传统的深度学习平台无法完整这类学习（CNNs和RNNs)，这类数据无法通过一维，二维和三维的欧几里得结构表达。例如一个过滤器：第一层9个实体的权重和凝聚成第二层一个节点的值。备注：关键：在节点和社区间进行信息传递图讲解：输入一个邻接矩阵，特征矩阵点乘到每个节点进行训练，每次居于上一层训练（更新特征矩阵），然后分类，最后进行。图卷积网络的本质就是提取图结构的空间特征。图
复制链接

扫一扫