KGCN、KGNN-LS ( KGCN-LS )、KGAT的简要介绍以及简单对比

emm…图片复制过来显示不了（因为我太懒了0.0），要看图的话可以去我的博客瞅瞅，嘿嘿嘿
对了，有些英文短句假如翻译成中文，阅读的时候就太搞脑子了，所以我干脆就不翻译了

我的博客地址：https://hikg.net/archives/124/

GCN

传统的GCN在做聚合操作时，将图的邻接矩阵、度矩阵作为权重；再跟当前层的所有节点做一个加权和，得到下一层的节点表示。

GAT

GCN的权重系数不可学习，与节点的度相关。也就是说，一旦图确定了，GCN的权重也就随之确定了。

GAT的权重与两个节点有关。将节点i、j的表示分别乘上一个共享参数W，然后将它们串联起来，$\alpha (\cdot )$用来将拼接后的高维特征映射到一个实数上。

KGCN

传统GCN在消息传递时，权重是通过$DAD$计算得到的。

KGCN在这里使用了一个函数$g(u,r)$，来计算权重${\pi }_r^u$：通过将u、r做内积，即表征了关系r对用户u的重要性。然后使用softmax对${\pi }_r^u$进行归一化。

图的例子：

$e_{S(e)}^u[h]\leftarrow \sum _{e^{{}^{\prime }}\in S(e)}{\pi }_{r_{e,e^{{}^{\prime }}}^u}{e}^{{}^{\prime }u}[h]$

$e^u[h+1]\leftarrow agg(e_{S(e)}^u[h],e^u[h])$

将第h层的输出$e^u[h]$、以及它的邻域进行聚合，得到$e^u[h+1]$；…最后一层H层的输出$e^u[H]$，记作$v^u$，将它与user的embedding一起，计算内积，得到$\hat{y}$。

损失函数如下，随机采样负样本，然后采用cross-entropy loss，最后加上一个L2正则项。

KGNN-LS

KGNN-LS完全是在KGCN的基础上进行的，仅仅是在KGCN的基础上加入了一个正则项。

对于一个交互$(u,v)$中的item v，将它作为一个中心节点。

然后使用user-specific relation scoring function $s_u(\cdot )$来计算每两个实体间的关系r对于u的重要性（即KGCN中的${\pi }_r^u$）然后就可以构造一个矩阵$A_u\in {\mathbb{R}}^{|E|\times |E|}$(即针对特定user u生成的一个图的邻接矩阵。其中的某一元素$A_u^{ij}=0$代表$e_i$和$e_j$之间没有关系)

第$l$层的前向传播公示如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-luDHLi08-1619534135846)(https://516000.xyz/images/2021/04/15/image-20210415155902760.png)]

这里的公式跟GCN差不多，但区别在于，邻接矩阵A是计算得到的，是可训练的。$H_0$初始化为实体的原始特征矩阵$E\in {\mathbb{R}}^{|E|\times d_0}$，$W_l\in {\mathbb{R}}^{d_l\times d_{l+1}}$是第$l$层的可训练权重矩阵。

聚合到最后一层L层，最终的表示矩阵$H_L\in {\mathbb{R}}^{|E|\times d_L}$聚合了实体初始表示、L跳的邻域信息。最终u和v发生交互的概率可以通过${\hat{y}}_{uv}=f(u,v_u)$计算出，$v_u$是$H_L$的第v行（即第v个item的最终表示向量）

---

KGCN的边权重$A_u$、参数矩阵$W_l$是需要监督学习的，数据的唯一来源是user-item的交互，可能会造成过拟合。

所以KGNN-LS在KGCN的基础上，加入了标签平滑度正则项，来对损失函数进行约束。假如当前用户看过这个电影，label就为1，没看过就为0，其他非item的实体就是unlabeled node。

LPA算法基于这样的假设：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AWVeaSTm-1619534135848)(https://516000.xyz/images/2021/04/16/2021-04-16-15.42.03.png)]

KG中邻近的实体很有可能拥有相似的label（相邻两个点i、j，假如有边，那么这个损失函数应该越低越好）所以要做的就是预测一个节点：将它邻居的label加权求和、求平均，得到该节点的label。

使用LPA来做正则项：

对于图中的一个已知节点v，将它的标签拿掉，对它做LPA，得到v 的标签的预测值y_uv拔，然后使用cross-entropy loss计算预测值、真实值之间的损失。（这个损失是关于边权重的一个函数，因为做LPA时传播取决于weight，所以预测值是关于边权重的函数）

KGAT

Embedding Layer

使用TransR的思想，通过优化得分函数g来学习每个节点、每个关系的embedding。

损失函数如下，这里使用了负采样的方法。

Attentive Embedding Propagation Layers

传统GAT是将两个节点的函数作为权重。

KGAT在权重的计算过程中，考虑了头实体、尾实体、以及他们俩之间的关系；作者认为这样做，使得距离较近的实体，可以传递较多的信息。然后使用softmax对权重进行归一化。

这里的$e_{N_h}$代表：聚合了图中，以h为头实体的三元组邻域的信息

然后使用一个聚合函数f，将头实体$e_h$自身、以及以它为头实体的邻域的信息 进行聚合。f的左半部分使用了GCN的sum聚合器，右半部分是将$e_h$、$e_{N_h}$按元素乘积element-wise product。作者说这样做可以额外对$e_h$、$e_{N_h}$之间的特征交互进行编码，使得要传递的消息对于$e_h$、$e_{N_h}$之间的亲和力敏感(即：传递来自类似实体的更多消息)

---

上述的公式是针对单层传递的公式，作者还定义了高阶的传递：

第$l$层的头实体的embedding = $l-1$层的该头实体的embedding + 邻域的embedding；这个邻域的embedding就是上面介绍的，以h为头实体的三元组的信息经过信息传递得到的$e_{N_h}$。

在训练了L层之后，将u的多层表示进行串联，得到u的最终向量$e_u^{\ast }$；同理得到i的最终向量$e_i^{\ast }$。最终使用内积来计算预测值$\hat{y}(u,i)$。

Difference between KGCN & KGAT

1. KGCN中的图是user-specific的，在训练过程中，只有item图参加训练。而KGAT不仅训练item的embedding，还训练了user embedding。
2. KGCN仅仅将KG（也就是item的graph）作为训练的输入；KGAT的输入是CKG，CKG通过将user-item bipartite graph中的item与KG中的实体进行对齐，整合了user-item bipartite graph、KG。
3. 第三点在第一点的时候提到了