Attention-drivenGraphClusteringNetwork

01_Attention-drivenGraphClusteringNetwork

Abstract

1.  传统的卷积网络与图卷积网络可以用于聚类操作，自编码器用于学习到节点向量的低维、紧凑的向量表示，图卷积神经网络捕捉整个图的拓扑特征

2.  现存工作的缺点:

1. 缺乏一种组合机制，自适应的融合两种特征表示
2. 忽略了嵌入在不同层次的多尺度信息

3.  特点：

1. 使用了异构融合模块来融合节点特征和图的拓扑特征
2. 使用尺度融合模块来汇合不同层的多尺度特征的嵌入

4.  原因：

综合考虑了网络中大量的有区别的信息，直接产生聚类结果

Introduction

1.写作思路：聚类的概念->深度学习融入聚类的意义->深度聚类的先决条件(数据表示)  ->举例在聚类中数据表示的网络，以及那些网络的缺 陷->拓扑图特征学习的意义->加入图学习的模型->那些模型存在的缺点                                                                                                       

2.深度聚类的聚类的先决条件是：从潜在数据中提取复杂的模式来有效的进行数据表示                                                                               

3.既要关注节点属性特征，又要关注数据中嵌入的拓扑图信息

4.  他们将在任何情况下的拓扑图特征等价于节点的属性特征，仅考虑从最深层提取的特征，忽略了嵌入在不同层中的现有的但有区别的多尺 度信息

5.  AGCN  (注意力驱动的图聚类网络)包括两个融合模块：同层融合不同特征(GCN特征与AE特征)的AGCN-H与不同层不同尺度的AGCN- S，均使用了注意力机制

Proposed Method

AGCN-H

1.  GCN可以有效捕捉图的拓扑结构信息，  AE可以合理的提取节点的属性特征，  AGCN-H是为了可以更好地融合这两种信息

 

 

2.  使用自编码器来提取节点的隐特征，原始数据->编码器->隐数据->解码器->原始数据‘，损失函数是最小化重构代价

3.  Hi是单纯进行解码-编码得到的关于节点的特征表示，  Zi是从该层学习到的GCN的拓扑特征

4.学习对应的注意力系数(attention coefficients)。首先，将Zi和Hi拼接在一起，形成一个新的矩阵[Zi ∣∣Hi ] ∈ Rn×2di 。然后，引入一个全 连接层，该层由一个权重矩阵Wa  ∈ R2di ×2 参数化，用于捕捉拼接特征之间的关系。接下来，对[Zi ∣∣Hi ]和Wa进行乘法运算，并应用         LeakyReLU激活函数，具体表达式如下：

 

其中，  Mi  = [mi,1 ∣∣mi,2 ] ∈ Rn×2 是注意力系数矩阵，  mi,1 和mi,2 分别是衡量Zi和Hi重要性的权重向量。   根据得到的注意力系数矩阵Mi ，通过加权融合Zi和Hi的特征，在第i层上得到了适应性融合的GCN特征Zi(′)，计算公式如下：

 

其中，  ⊙表示Hadamard乘积。   然后，得到的融合特征矩阵Z′ i作为第(i+1)层GCN的输入，用于学习表示Zi + 1，计算公式如下：

 

其中，  D是度矩阵，  I是单位矩阵，  Wi是权重矩阵。  

综上所述，这些公式描述了如何使用注意力系数来自适应地融合GCN特征和自编码器特征，以提高网络的表示能力和聚类效果。

AGCN-S

1. 现将不同层的编码进行拼接

 

 

2.  不同层对于输入信息的语义信息不同，在聚类任务中发挥着不同的作用，不能简单地认为他们的重要性是相同的，于是，使用AGCN-S利 用注意力机制来融合不同尺度的信息，基本步骤都是：先拼接、再进行线性变化捕捉不同层的关联、每一行进行softmax得到注意力权重、 权重*原始信息得到最终结果

3.最终结果：