多视角聚类论文笔记(三)SC^2-Net

期刊 & 年份 & DOI

（Neurocomputing-2023）https://doi.org/10.1016/j.neucom.2023.126695

一、解决问题 

1. 大多数基于子空间的多视角聚类方法现在都侧重于探索与多视角数据集相关的一致性或互补性特征之一，而不是平衡它们的探索，使得一致性和互补性这两个关键属性的提取很少得到适当的平衡
2. 现有的结合深度学习的MVC模型往往将网络结构设计的相对复杂，然后叠加多个损失函数的约束，使得网络的计算开销较大。

二、方法

• 主要思想

        为充分考虑多视图之间的互补性和一致性，设计两个简单的基于卷积层的特征提取模块来分别获得互补性特征和一致性特征；

        仅设计两个自监督损失来监督网络的学习且无需分阶段训练；

• 模型图

 该框架包含两个模块：

• Complementary module

 该模块的主要工作：

        在训练开始前，先对多视角数据集中的视图逐个进行L2归一化预处理，以减少噪声的影响并提高模型收敛的速度，然后将每个视图视为具有单个通道的特征映射，即视为形状为（1，1，N，d）的张量，送入特定于视图的互补特征提取模块，每个视图都有相应的特征提取模块，根据模型图，每个视图的互补特征提取模块都由两层堆叠的卷积层组成，最后一层采用1 * 1的卷积核；使用LeakyReLU作为激活函数，所有视图对应的卷积块共享权重。

公式描述：

 特定于视图的互补损失设计为：

遍历所有视图并累加得到送互补损失：

其中： ；

---

•  Consistency module

  该模块的主要工作：

        将Complementary module提取的每个视图的互补性特征进行堆叠形成新的张量Y = (V, N, C)，将Y进行unsqueeze操作后送入一致性特征提取模块，也就是融合模块，该模块也是基于CNN构建，依据模型图，也由两层卷积层组成。得到最终的融合特征Z后对Z进行K-means聚类得到最终聚类结果。

公式描述：

 一致性损失与互补损失类似，设计为：

 其中：

三、损失函数与训练过程

总损失：

论文将、 都定为1。

四、实验结果

 

五、收获 

1. 设计网络时可以将网络简单化来看看效果
2. 卷积的重构损失可以直接乘转置
3. 可以将本文的CNN操作换成GCN操作试试