Beyond Homophily Reconstructing Structure for Graph-agnostic Clustering

发表于：ICML23
推荐指数： #paper/⭐
(个人不太喜欢他的行文方法，有部分内容有点让人看不懂)
总结：很常见的套路：构造同配视图+异配视图，进行同配传播+异配传播，然后利用类对比损失，类重构损失进行两次联合训练，最后利用KL散度联合优化

思路：

异配图的搭建：

$$\begin{gathered} \bar{W}=1.-W, \\ \bar{A}=1.-A, \\ H=\bar{W}\odot \bar{A}, \end{gathered}$$

相似性矩阵的重构：

$$\underset{S_{\mathbf{i}:}}{\min }\sum _{j=1}^N{S}_{\mathbf{i}j}{\Vert x_i-x_j\Vert }^2$$
$$\underset{S_{i:}}{\min }\sum _{j=1}^N{S}_{ij}{\Vert x_i-x_j\Vert }^2+S_{ij}^2.$$

图过滤器

$$F=(I-\frac{1}{2}L{)}^{k}X,$$
但是，上述式子只考虑了同配图。因此，引入异配视图
$$F=\mu (\frac{1}{2}{L}_H{)}^{k}X+(1-\mu )(I-\frac{1}{2}{L}_S{)}^{k}X$$

双图聚类网络：

$$\begin{gathered} Z_F=E_{{\theta }_F}(F), \\ {Z}_A=E_{{\theta }_A}(A). \end{gathered}$$
$Z_F$代表特征映射，$Z_A$代表结构映射
之后，使用CR损失：
$$\begin{array}{rl}{\mathcal{L}}_{CR}& =\frac{1}{d^2}\sum {\left(\mathbf{M}-\tilde{\mathbf{I}}\right)}^2\\ & =\frac{1}{d^2}\sum _{i=1}^d{\left({\mathbf{M}}_{ii}-1\right)}^2+\frac{1}{d^2-d}\sum _{i=1}^d\sum _{j\ne i}{\mathbf{M}}_{ij}^2,\end{array}$$
（如果不理解，可以理解为对比损失。建议将对比损失和这个一起思考，就可以搞明白对比损失的实质了。这个损失是常用的套路)
其中：
$$M_{ij}=\frac{Z_{Ai}^{\top }{Z}_{Fj}}{\Vert Z_{Ai}\Vert \cdot \Vert Z_{Fj}\Vert }.$$
第二步，又引入了SCE损失作为特征F的重构损失，并用$\beta$来控制缩放率
$${\mathcal{L}}_{\mathrm{SCE}}=\sum _{i=1}^N{\left(1-\frac{F_i^{\top }{\bar{F}}_i}{\Vert F_i\Vert \cdot \Vert {\bar{F}}_i\Vert }\right)}^{\beta },\beta \ge 1$$
最后，用KL散度对结果进行优化：
$${\mathcal{L}}_{CLU}=KL(P\Vert Q)=\sum _i\sum _u{p}_{iu}\log \frac{p_{iu}}{q_{iu}}$$
联合优化损失如下：
$$\mathcal{L}={\mathcal{L}}_{CR}+{\mathcal{L}}_{SCE}+{\mathcal{L}}_{CLU}.$$