Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization
论文地址1:
http://openaccess.thecvf.com/content_iccv_2017/html/Dizaji_Deep_Clustering_via_ICCV_2017_paper.html
论文地址2:
https://arxiv.org/abs/1704.06327
Abstract
—————————-略—————————-
1. Introduction
—————————-略—————————-
2. Related Works
—————————-略—————————-
3. Deep Embedded Regularized Clustering
3.1. DEPICT Algorithm
有N个样本 X={
x1,..,xn} X = { x 1 , . . , x n } ,将其分为K个类别,其中每个样本 xi∈ℝdx x i ∈ R d x 。原始样本对应的映射子空间(embedding subspace) Z={
z1,...,zn} Z = { z 1 , . . . , z n } ,其中每个样本 zi∈ℝdz z i ∈ R d z 的维度要远小于原始样本(i.e. dz≪dx d z ≪ d x )。给定映射函数,我们使用多目标LR(Softmax) fθ:Z→Y f θ : Z → Y 来预测其属于各个簇的概率:
pik=P(yi=k|zi,Θ)=exp(θTkzi)∑Kk′=1exp(θTk′zi),(1) (1) p i k = P ( y i = k | z i , Θ ) = exp ( θ k T z i ) ∑ k ′ = 1 K exp ( θ k ′ T z i ) ,
其中 Θ={ θ1,...,θk}∈ℝdz×K Θ = { θ 1 , . . . , θ k } ∈ R d z × K 为Softmax的参数, pik p i k 表示第 i i 个样本属于第 个簇的概率。
为了定义我们的聚类目标函数,我们使用辅助目标变量Q来迭代地修正模型预测。 为此,我们首先使用Kullback-Leibler(KL)散度来减小模型预测P和目标变量Q之间的距离。
ℒ=KL(Q∥P)=