CSDN 精品推荐

根据提出的SCM，为了兴趣和一致性采用了单独的嵌入，作者从观察交互中提取原因特异性数据，并使用不同的原因特异性数据训练不同的嵌入来实现兴趣和一致性之间的解缠。这两个原因通过多任务课程学习得以聚合和平衡。比如一个物品的流行度很高，一个用户很有可能因为它的流行度高而点击购买，并非是源于真实的兴趣信息，这些交互主要是由于用户的从众心理所导致，而且不同的用户对不同的物品的从众程度也不同，为了解决该问题，就需要将从众（一致性）混淆信息与用户的兴趣信息分离，从而消除流行度偏差，帮助捕捉用户独立于从众性的纯兴趣。

目前很多GNNs不断被提出，大多是采用邻居聚合和图级池化的方法，虽然这些GNN模型在节点分类、边预测和图分类等许多任务上都取得了不错的性能，但是新型的GNN的设计大多是基于经验直觉、启发式和实验试错，因此它们对GNNs的性质和局限性的理论认识较少，对GNNs表征能力的形式化分析有限。其中第一个式子就是聚合函数，用于集合给定节点的邻居的特征向量，第二个式子就是将第一步聚合后的特征向量与该中心节点的特征向量进行结合，用于更新中心节点的特征向量。上述的聚合操作采用的是最大池化，其中的。

为了防止GCN梯度消失、过度平滑和过拟合等问题，能够再大规模图上训练更深层次，该作者提出了DeeperGCN，并且定义了可微的广义聚合函数来统一不同的消息聚合操作，还将归一化层和残差连接应用到了GCN当中。而且目前很多的GCNs任务都是基于浅层的，如果训练过深，会导致梯度消失以及过平滑问题，已有一些工作尝试解决这些问题，有些通过尝试像图像任务中的残差、密集连接和空洞卷积应用在图任务上。目前聚合函数常见有均值、最大、求和、注意力、LSTM等，而且通过实验表明，不同的聚合函数对不同的任务也会有不同的影响。

该篇当中作者提出了一个新的基于注意力的异构图神经网络，包括节点级注意力和语义级注意力，通过学习节点级和语义级的注意力可以充分考虑节点和元路径的重要性，并且该模型可以通过分层的方式聚合基于元路径的邻居节点的特征来生成节点嵌入。从下图可以看出，红框圈出的就是节点级注意力，因为每个元路径都会提取出不同的元路径邻居，所以节点注意力就是学习一个注意力分数给该中心节点的不同邻居，然后进行加权聚合作为该节点的新的表示特征。元路径是连接异构图中不同对象的复合关系的一种媒介，它能够捕捉异构图中复杂的语义信息。

这表明GTN可以学习一个新的图结构，该结构由有用的元路径组成，用于学习更有效的节点表示。然而，大多数的GNN会存在一个局限性：就是它们只能处理同构图，同构图就是所有节点和边都是同类型，但是生活中会有很多场景是异构的，例如论文引用，这里会存在两种节点，一种是论文，另外一种节点是作者，很显然他在传统的图结构上多了一层信息，就是节点类型，所以传统GNN大多不能处理这种关系，但是有些做法就是忽略这些节点和边缘类型，将它们看成同种类型也就是同构图进行处理，显然这种做法不好，丧失了原图中的信息。

本文介绍的论文是《Universal Graph Transformer Self-Attention Networks》。该篇文章的主要贡献是将Transformer应用在GNN中用于学习图的表示，作者在此基础上提出了两种UGformer变体，实验结果表明第一个UGformer变体在归纳学习上取得了较好的准确率，而第二个变体在文本分类任务上获得较好的精度。一、背景图是一种由节点和边组成的数据类型，这种数据在生活中无处不在，例如药物发现、分子学、社交关系等领域，从图中学习和推理一直是最热门的研究课题之一。

之后会根据学习出的Z也就是注意力分数矩阵进行池化操作，这时会定义一个超参数k，代表保留节点的比率，那么【kN】就是最终需要保存节点的个数，我们会根据注意力分数进行排序，保留分数最大的前【kN】个节点。但是上面做法也会存在局限性，它单单只考虑了图节点特征，并没有考虑图的拓扑结构，为了进一步改进，作者提出了SAGPool，该方法可以同时使用节点特征和图的拓扑结构产生更加合理的图的层次表示。为了改进池化效果，本文提出了一种新的池化方式，基于自注意力机制方式，这种方式可以同时考虑节点特征以及图拓扑结构。

在卷积神经网络（CNNs）中，池化方法通常基于将规则网格（如音频中的一维时间网格）均匀地划分为局部区域，并从该区域中获取单个值（平均值、加权平均值、最大值、随机值等），而CNNs中的注意力通常是一个单独的机制，该机制对C维输入X进行加权。在对图同构网络工作的见解的启发下，设计了简单的图推理任务，允许在受控环境中研究注意力。ChebyNet是GCN的多尺度扩展，因此对于第一尺度，K=1，节点特征本身就是节点特征，对于K=2，在一跳邻居上对特征进行平均，对于K＝3，在两跳邻居上，以此类推。

换句话说，图注意力网络能够捕捉图关系的重要性，能够学习每个邻居节点对于中心节点的重要程度，GAT在节点分类等方面表现出了很大的性能改进，但是它在数据集之间的改进程度不一致，而且对图注意力实际学习内容较少。第二种是MX混合，它将GO得分与激活后的DP得分进行点积操作计算注意力分数，该种形式的动机来自门控复发单元的门控机制，这可以很柔和地丢弃不太可能链接的邻居，同时隐式地将重要性分配给剩余节点。因此作者提出了一个新的模型SuperGAT，是GAT的一种变体，它是基于GO和点积方式的，即自监督图注意力网络。

作者使用一个简单的综合问题证明了GA T的弱点，即GAT甚至无法拟合简易数据，但很容易通过GATv2解决。图注意力网络GATs是目前较为流行的GNN架构，在GAT中每个节点可以看成一个查询向量Q，该节点的邻居可以看成键向量K，然后基于Q和K计算对应的注意力分数，也可以说成是权重系数，然后利用该权重对该节点的邻居进行加权求和聚合操作，作为该节点新的表示向量。k9】计算注意力分数时，都是k8的注意力分数最大，也就是无论q是什么，k8的贡献都是相对最大的，为了解决这个问题，作者提出了GATv2来使用动态注意力。

本文介绍的论文是中科大王翔教授等人在KDD2022上发表的《Causal Attention for Interpretable and Generalizable Graph Classification》。作者强调了当前基于注意力和池化的GNN在图分类中的泛化问题，并且提出了一种新的用于图分类的因果注意力学习策略（CAL），使GNN在过滤掉捷径特征的同时利用因果特征，最后在合成数据集和真实数据集上的大量实验证明了CAL的有效性。一、背景。