论文笔记：Attributed Graph Clustering: A Deep Attentional Embedding Approach

前言

为了利用各种类型图数据的相互关系，此篇文章提出以图注意力自动编码器来学习潜在表示。 编码器利用图注意力网络来利用图结构和节点内容，并且多层编码器被堆叠以构建用于嵌入学习的深度架构。 另一端的解码器重建拓扑图信息并操纵潜图表示。 进一步采用了自训练模块，该模块以“有信心”的聚类分配作为软标签来指导优化过程。

在架构的设计上，更加注重聚类任务

总结如下：

• 第一个基于图注意力的自动编码器，有效地整合结构和内容信息，以进行深度的潜在表示学习。
• 为属性图聚类提出了一个新的目标导向框架。该框架共同优化了嵌入学习和图聚类。
• 实验结果表明，该算法优于最新的图聚类方法

算法架构

主体包含两个部分，分别是，图注意力网络自动编码器和自训练聚类

• Graph Attentional Autoencoder: 以图中节点的特征向量和图结构(邻接矩阵)作为输入，通过最小化重建图与原图的损失来学习潜在的特征表示
• Self-training Clustering：自训练模块根据学习到的表示进行聚类，然后根据当前的聚类结果来优化潜在的表示。

作者将这种方法称为Deep Attentional Embedded Graph Clustering (DAEGC)

首先开发一种图形注意力自动编码器，它可以有效地集成结构和内容信息，以学习潜在表示。 基于该表示，提出了一种自训练模块，以指导聚类算法取得更好的性能。

图注意力自动编码

这个想法是通过照顾每个节点的邻居来学习每个节点的隐藏表示，将属性值与潜在表示中的图结构结合起来。 参加节点邻居的最直接的策略是将其表示形式与其所有邻居均等地集成。 但是，为了衡量各个邻居的重要性，在分层图关注策略中，对邻居表示赋予了不同的权重：

• 在这里$z_i^{l+1}$代表了节点$i$的输出
• $N_i$代表了所计算节点的邻居节点$i$
• ${\alpha }_{i,j}$代表了对于计算节点$i$来说邻居节点$j$的重要性,
• $\sigma$代表了非线性激活函数

与前段时间提出的GAT图注意力网络结构大致思想上一致，可以参考我的另一篇博客
https://blog.csdn.net/qq_44015059/article/details/105749213

解码器decoder

存在多种解码器，它们可以重构图结构，属性值或两者。 由于潜在的嵌入已经包含了内容和结构信息，因此选择采用简单的内部乘积解码器来预测节点之间的链接，高效而灵活

编码器损失函数方面

自训练聚类(自由化嵌入)

图聚类方法的主要挑战之一是不存在标签指导，图聚类任务自然是无人监督的，因此无法获得训练期间关于学习到的嵌入是否得到最佳优化的反馈。 为了应对这一挑战，从此篇文章提出了一种自优化嵌入算法作为解决方案。

除了优化重构误差外，我们还将隐藏的嵌入内容输入到自优化聚类模块中，该模块可最大程度地减少以下目标：

其中$q_{iu}$用于计算节点嵌入$z_i$和聚类中心嵌入${\mu }_u$的误差，其中考虑$t$分布的方法进行计算

它可以看作是每个节点的软集群分配分布。 另一方面，$p_{iu}$是目标分布，定义为：

高概率的软分配（靠近聚类中心的节点）被认为在Q中是可信赖的。因此，目标分布P将Q提高到第二次方，以强调那些“自信分配”的作用。 聚类损失然后迫使当前分布Q接近目标分布P，从而将这些“自信分配”设置为软标签，以监督Q的嵌入学习。

总而言之，将聚类损失降到最低，以帮助自动编码器利用嵌入自身的特征和分散嵌入点来操纵嵌入空间以获得更好的集群性能。

总损失函数

实验