Deep Discriminative Latent Space for Clustering 理解梳理

Deep Discriminative Latent Space for Clustering 理解梳理

翻译链接：https://blog.csdn.net/shaodongheng/article/details/83021629

网络结构图：

两个部分的算法：

预训练阶段：

 是最大迭代次数，，是第 i 次迭代方程：

的结果，是一个很小的数。

计算数据集原始表示的k最近邻，是选择的锚对的集合，表示该集合的样本数。

锚对：将k-最近邻图中具有最大相似性的一部分作为锚对。

设定作为潜在空间的归一化的表示。

潜在表示矩阵，其中表示每一批次的样本数目，将定义为行归一化批量矩阵（其第i行是行向量），并且将定义为成对余弦相似度矩阵，使得。

α<1是超参数。

最小化损失函数：

其中λ代表正则化强度，即系数，表示重构损失，X代表原始输入批次的矩阵，代表Frobenius范数。

由此得到了预训练的自动编码器参数和自动解码器参数。

聚类阶段：

第一阶段：

优化过程从的初始化开始，在整个数据集D上通过优化等式（7），即最大化：

得到初始化的。

然后我们交替优化参数，即优化一个时其他保持不变，先最大化目标函数得到分配矩阵S，然后最大化得到，最后最大化得到自动编码器参数。 优化过程迭代直到收敛。

将前面预训练阶段得到的模型参数，带入，是聚类簇的质心，S 是分配矩阵（权重矩阵），

。

是超参数 

初始化

 

更新： 

更新和：

 

 第二阶段：

采用第一阶段得到的参数初始化。

与第一阶段只是优化函数不同：

 其中：