论文解读《DEEP TEMPORAL CLUSTERING: FULLY UNSUPERVISED LEARNING OF TIME-DOMAIN FEATURES》

该篇论文发表于ICLR2018，是本论文的方法是完全针对时间数据的无监督聚类算法，是第一个提出的在无标签的时间数据上，建立的端到端的算法框架。论文地址

网络框架

Effective Latent Representation

上图中上半部分，是一个自编码网络，网络的输入是一个个时间序列样本，其维度是[batch_size, time_step, feature_nums]，通过编码器对时间序列进行降维提取特征。

1. 数据进入编码器（Encoder）后，经过一个一维卷积，这样可以捕捉序列间的短距离波动，然后经过大小为P的maxPooling操作，将卷积结果进行降维。经过这些操作，可以将数据压缩为一个紧凑的向量表示，同时保留了序列间的结构化信息（卷积操作）。
2. 将经过降维后的数据通过两个Bi-LSTM，即双向LSTM，这个结构可以学习到序列前后的数据波动，同时可以将输入序列压缩为更紧凑的潜在表示Latent Representation。
3. 经过编码器进行编码，为了衡量表征的学习效果如何需要解码器（Decoder）对学习到的特征还原。于是，我们对该表征进行UpSample和Deconvolution操作，其实就是反卷积操作，使之能重构输入序列，得到一个输出序列。

损失函数

我们以MSE为损失函数，不断的训练这个深度自编码网络，就能得到一个可信的Latent Representation，其形状为[batch_size, time_step2, feature_num2]，其中$time\_step2<time\_step,feature\_num2<feature\_num$。以下将这个Latent Representation简称为zzz，第i个样本的Latent Representation称为$z_i$。

Temporal Clustering Layer

根据Encoder得到数据的表征后，我们如何对这些Latent Representation进行聚类呢？

1. 论文中提出，假设聚类结果有K个类别，以$w_j$ 表示$j$类的中心，随机初始化$k$个聚类中心，然后以K-Means方法更新一下聚类中心，注意这里的聚类中心$w_j$其实就是聚类模型的参数，在实现时就是形状如[k, time_step2, feature_num2]大小的参数矩阵。
2. 已知聚类中心后，本文采用了一种类似于softmax的方法计算输入序列$x_i$属于类簇中心$w_j$的概率，

上式的概率分布计算，是由Hinton在08年提出的，$Studen{t}^{\prime }stdistributionkernel$。$siml$是$z_i与w_j$相似度的计算方式，具体的可以参见论文。

聚类损失函数

因为我们这里是无监督的，即使得到了一个概率分布$q$，也不知道真实的概率分布$p$，论文中提到可以利用论文A fast learning algorithm for deep belief nets和论文 unsupervised deep embedding for clustering analysis 中的方法，可以由$q$分布得到target distribution：

关于本式的理解：
然后聚类的损失函数定义为，KL散度，$n，k$分别为输入的时间序列样本数量与聚类类簇中心个数：

下图展示了聚类层是如何进行工作的：