Deep Discriminative Latent Space for Clustering 理解梳理
翻译链接:https://blog.csdn.net/shaodongheng/article/details/83021629
网络结构图:
两个部分的算法:
预训练阶段:
是最大迭代次数,,是第 i 次迭代方程:
的结果,是一个很小的数。
计算数据集原始表示的k最近邻,是选择的锚对的集合,表示该集合的样本数。
锚对:将k-最近邻图中具有最大相似性的一部分作为锚对。
设定作为潜在空间的归一化的表示。
潜在表示矩阵,其中表示每一批次的样本数目,将定义为行归一化批量矩阵(其第i行是行向量),并且将定义为成对余弦相似度矩阵,使得。
α<1是超参数。
最小化损失函数:
其中λ代表正则化强度,即系数,表示重构损失,X代表原始输入批次的矩阵,代表Frobenius范数。
由此得到了预训练的自动编码器参数和自动解码器参数。
聚类阶段:
第一阶段:
优化过程从的初始化开始,在整个数据集D上通过优化等式(7),即最大化:
得到初始化的。
然后我们交替优化参数,即优化一个时其他保持不变,先最大化目标函数得到分配矩阵S,然后最大化得到,最后最大化得到自动编码器参数。 优化过程迭代直到收敛。
将前面预训练阶段得到的模型参数,带入,是聚类簇的质心,S 是分配矩阵(权重矩阵),
。
是超参数
初始化
更新:
更新和:
第二阶段:
采用第一阶段得到的参数初始化。
与第一阶段只是优化函数不同:
其中: