深度多模态子空间聚类网络+代码实现

网络概述（论文）

相关论文资源：在我的资源中，请关注我然后下载。共三篇论文：

1. Deep Subspace Clustering Networks
2. Deep Multimodal Subspace Clustering Networks
3. Cross-Modal Subspace Clustering via Deep Canonical Correlation Analysis

下面对多模态子空间聚类网络进行讲解。

引言

深度多模态子空间聚类网络（DMSC）主要由编码器、解码器和自表达层三部分组成。每个模态对应自己的的编码器和解码器，参数不发生共享。网络结构如图所示：

模型的训练过程分为两步：第一步采用编码器和解码器构成的自编码网络结构训练出多模态数据映射到子空间和空间融合的函数，网络的输出是解码器从潜在空间中重建，尽可能保持与源多模态数据保持一致；该网络的损失函数为解码器的重构与原始输入之间的距离，通过训练不断最小化损失函数。第二步在第一步的基础上加上自表达层，自表达层基于二分图神经网络，自表达层的参数表示训练样本之间的相似度的亲和矩阵。编码器网络针对早期融合、晚期融合和混合融合，提出了三种用于不同空间融合方式的的编码器网络。不同的融合方式对于自表达层和多模态解码器没有任何影响。该网络多模态融合除了可以采用这三种空间融合方法，还提出了一种基于亲和融合的网络。在亲和融合方法中，自表达层在这种融合方式的网络中是模态间共享的。
该网络模型具有如下优势：

1. 提出了基于深度学习的多模态子空间聚类框架，其中通过使用全连接层在
   子空间中编码自我表示属性。
2. 针对融合多模态数据，提出了对应于晚期、早期和中间融合的新型编码器
   网络架构。
3. 提出了一种基于亲和融合的网络体系结构，在该架构中，自我表达层被强
   制对所有模式的子空间特征具有相同的权重。

Deep Subspace Clustering Networks（基于稀疏和低秩表示的深度子空间聚类）

令向量$X=[x_1,\dots ,x_N]\in R^{(D\times N)}$是从$R^D$中的维度为${d_l}_{(l=1)}^n$的n个线性子空间S_1∪S_2∪…S_n的并集绘制的N个信号的集合。给定X，找到位于$S_l$的子矩阵$X_l\in R^{(D\times N_l)}$是子空间聚类的主要任务，其中$N_1+N_2+\cdots +N_n=N。$假设每个数据样本可以由其他数据点的线性组合来表示，这些算法的宗旨在通过解决公式（4-1）优化问题来找到稀疏或低秩矩阵C：
$min||C|{|}_p+\lambda /2||X-XC|{|}_F^2$
其中||.||表示求解范数，λ表示正则化参数。另外，为了防止一般解C=I，I为单位矩阵，对角线数值为1，其他全为0。将上述$diag(C)=0$的附加约束添加到上述优化问题中。一旦找到C，就将谱聚类方法应用于得到的亲和度矩阵W上，$W=|C|+|C{|}^T$，从而获得数据集X的分割和聚类结果。
子空间中表示的数据集X是深度子空间聚类网络通过使用编码器-解码器类型网络将数据嵌入潜在空间来探索自我表达性。图4.2是单模态子空间聚类的深度子空间聚类的概述。该方法使用嵌入网络内的可训练密集层来近似矩阵C，将自表达层的参数表示为${\theta }_s$，使用损失函数式下面函数用于训练网络：

其中$Z_{({\theta }_e)}$