Homophily Related-Adaptive Hybrid GraphFilter for Multi View Graph Clustering.md

论文发表于:AAAI 2024
推荐指数: #paper/⭐⭐⭐
代码:ZichenWen1/AHGFC: The source code for “Homophily-Related: Adaptive Hybrid Graph Filter for Multi-View Graph Clustering” (github.com)

问题引入

问题:当前聚类基于图的同配性假设,只关注了图的同配性,即:较多的关注了低频信息而忽略了高频信息

通过多视图自适应混合图过滤器,使得图的低频和高频数据更具有区分性,从而综合考量设计了图的联合相似度矩阵

模型

重构相似性矩阵

首先,我们利用自编码器将X和A映射为:
$${\mathbf{Z}}_x=f_x(\mathbf{X};{\theta }_x),{\mathbf{Z}}_a=f_a(\mathbf{A};{\theta }_a)$$
由于输入矩阵A可能是同配,异配,或者混合的,我们重构了图联合矩阵通过下面的方式:
$$\mathbf{Z}={\mathbf{Z}}_a{\mathbf{Z}}_x^T.$$
在这里,图联合矩阵是节点特征和邻居特征共同组成的.它将更可靠的去取使用初始图.此外,受消息传播机制的驱动,多阶聚合可以平滑图信号,我们聚合矩阵Z来获得图联合矩阵:
$$\mathbf{S}=\mathbf{Z}{\mathbf{Z}}^{\mathbf{T}}$$
自此,
$$\mathbf{S}=({\mathbf{Z}}_a{\mathbf{Z}}_x^T)({\mathbf{Z}}_a{\mathbf{Z}}_x^T{)}^T,$$
Z的相似性将得到加强,低频高频信号可以得到有效分离

吐槽:这图好丑啊

LP,HP以及自适应hybrid 图过滤

经验上,低通和高通过滤与拉普拉斯矩阵/亲和性矩阵相关,常用的两种:

对称形式:

亲和性矩阵A(邻接矩阵?仿射矩阵?中文到底叫啥)和图拉普拉斯矩阵:
$$\mathbf{LP}={\mathbf{A}}_{\mathbf{sym}}\mathbf{X},\mathbf{HP}={\mathbf{L}}_{\mathbf{sym}}\mathbf{X},$$
$${\mathbf{A}}_{sym}={\mathbf{D}}^{-1/2}\mathbf{A}{\mathbf{D}}^{-1/2},{\mathbf{L}}_{sym}=\mathbf{I}-{\mathbf{A}}_{sym}$$

不对称形式:

另外一种是随机游走形式:
$$\mathbf{LP}={\mathbf{A}}_{\mathbf{rw}}\mathbf{X},\mathbf{HP}={\mathbf{L}}_{\mathbf{rw}}\mathbf{X},$$
$${\mathrm{A}}_{rw}={\mathrm{D}}^{-1}\mathrm{A},{\mathrm{L}}_{rw}=\mathrm{I}-{\mathrm{A}}_{rw}.$$
根据前面介绍的图傅里叶变换,图形信号x和卷积核f的卷积运算如下:
$$f\ast x=\mathbf{U}(({\mathbf{U}}^{T}f)\odot ({\mathbf{U}}^{T}x))=\mathbf{U}{g}^{\theta }{\mathbf{U}}^{T}x,$$
其中$\odot$表示handmard 积,$g^{\theta }={\mathbf{U}}^{T}f$表示在光谱领域卷积和f
如果我们用随机游走A作为卷积核,那么图信号x可以被过滤:
$${\mathbf{A}}_{rw}\ast x=\mathbf{U}(g_L^{\theta }){\mathbf{U}}^{T}x,{\mathbf{L}}_{rw}\ast x=\mathbf{U}(g_H^{\theta }){\mathbf{U}}^{T}x$$
$g_L^{\theta }$和$g_L^{\theta }$表示谱领域的A和L.
$$g_L^{\theta }=\mathbf{I}-\mathbf{\Lambda }\mathrm{and}{g}_H^{\theta }=\mathbf{\Lambda }$$
因此,我们可以重写上述式子的结果:
$$\begin{array}{rl}& \mathbf{U}(g_L^{\theta }){\mathbf{U}}^{T}x=\sum _i(1-{\lambda }_i)u_i{u}_i^{T}x,\\ & \mathbf{U}(g_H^{\theta }){\mathbf{U}}^{T}x=\sum _i{\lambda }_i{u}_i{u}_i^{T}x.\end{array}$$
高通滤波器,低通滤波器通常用于获得高频和低频信号,当$1<\lambda <2$获得高频信号,$0<\lambda <1$获得低频信号.
我们为了同时捕获两者,设计了自适应混合图滤波器:
$${\mathbf{H}}_{\mathbf{hybrid}}=hr\cdot ({\mathbf{S}}_{\mathbf{rw}}{)}^k\mathbf{X}+(1-hr)\cdot (\mathbf{I}-{\mathbf{S}}_{\mathbf{rw}}{)}^k\mathbf{X},$$
hr表示可学习参数来衡量同配性,用于控制混合滤波器的自适应过程

用同配比来调节

当同配信息占据主导地位时,低通滤波器发挥作用.当异配性占主要作用时,高通滤波器占主要作用.我们选择用伪标签和邻接信息来计算同配比(hr):
$$hr=\frac{\mathrm{SUM}({\mathbf{A}}^v\odot {\mathbf{PP}}^T-\mathbf{I})}{\mathrm{SUM}({\mathbf{A}}^v-\mathbf{I})}$$
$\odot$是hadamard product, P ∈ { 0 , 1 } n × c \mathbf{P} \in \{0,1\}^{n\times c} P∈{0,1}n×c是伪标签的one-hot编码.hr还可以响应图上相似度和不想死的信息的比例.其计算开销小.
$$\begin{array}{rl}\overline{\mathbf{H}}=& \sum _{v=1}^V{\omega }_h^v{\mathbf{H}}^v,\text{where}\\ & {\omega }_h^v=(\frac{ev{a}^v}{\max (ev{a}^1,ev{a}^2,\cdots ,ev{a}^V)}{)}^{\rho },\end{array}$$
其中,eva是共识特征$\bar{\mathbf{H}}$和H的评估.超参$\rho$调整整个视图权重的光滑程度.对于每个共识结果,我们应用k-means来运算最终结果,并运用kl散度来优化聚类结果

损失函数

$${\mathcal{L}}_{Rec}=l(f_x(\mathbf{X};{\theta }_x);\mathbf{X})+l(f_a(\mathbf{A};{\theta }_a);\mathbf{A}),$$
$${\mathcal{L}}_{KL}=\sum _{v=1}^{V}KL(\overline{\mathbf{P}}\Vert {\mathbf{Q}}^v)+\sum _{v=1}^{V}KL({\mathbf{P}}^v\Vert {\mathbf{Q}}^v)+KL(\overline{\mathbf{P}}\Vert \overline{\mathbf{Q}}),$$
最终,损失函数被设计为:
$$\mathcal{L}={\gamma }_{rec}{\mathcal{L}}_{Rec}+{\gamma }_{kl}{\mathcal{L}}_{KL},$$

结果:

总结:

优点:这篇用了相似性矩阵和特征相似度生成的相似性矩阵,以及聚类伪标签来设计同配比,利用视图特征和共识特征的权重比去聚合不同阶信息的特征,思路很直观,挺有意思的.(创新点:同配比,视图特征和共识特征的权重比聚合特征)
缺点:写的有点好,结果让人难以相信.在权重参数的确定时引入超参,对其适用性是否有一丢丢怀疑