这是一篇基于Tapnet修改的文章。
创新点:
1、加入了时间序列的空间信息(也就是variable 轴)
2、是用半监督学习
3、对embedding learning可视化
4、与13个监督学习和4个半监督学习作为baseline
(个人觉得,相较于Tapnet,不同的地方主要在于加入了空间信息,和用的是AE框架)
A:MTS需要考虑2个部分,一部分是时间依赖性 和空间相关性。 先前的论文都是只有考虑2个variable之间对应点的相关性。但这篇论文觉得,应该考虑2个variable 一个m窗口之间的相关性。也就是的相关性,其中。这带来了一个空间相关矩阵的时间邻居和空间变量给定的空间状态。
B:半监督学习的定义,为标签样本,是没有标签样本。
SMATE:
SMATE有3个关键部分,一个是时空动态encoder,序列decoder,和半监督的嵌入层的三步正则化。
SMB:
简单说就是把序列通过空间模块,加入空间信息,个人觉得,类似于SE模块,只不过论文中加了一个参数M,来调整一个窗口内的相关性。
三步正则化(three-step regularization):
1:求出每一类的均值。就是把所有类别1的embedding vector 初始化聚类为,k为类别数。
2、调整有标签数据质心位置,也就是均值,计算每一个实例到质心的距离,然后求出新的权重Wki
然后更新质心
3、用无标签数据调整质心位置,计算无标签到质心的距离的比重,然后求出新的权重
最后,合并有监督和无监督数据数据,得出最后的质心
最后,计算loss是交叉熵加上MSE的loss