目录
0、Statement
本博文仅供学习交流，并主要关注原文作者所解决的问题和使用的方法，其他细枝末节请参考原文。
原文地址：https://dl.acm.org/authorize.cfm?key=N665726
1、Objective
由标题也可以清楚看到，本文的目标是Multivariate Time Series Retrieval（暂且翻译成“多元变量时间序列检索”，简称MTSR）。时间序列检索好理解，比如在股票、期货等领域中常见，给定当前的一段股票序列，从历史的数据中找出相似的序列，然后就可以通过历史数据预判接下来的行情，从而辅助从业人员或者股民决策。通常这些序列数据是单变量的（univariate），比如只有股票价格的实时变化数据。如下图，四个不同的传感器监测到了四种序列数据，本文关注的是正是这种多变量时间序列数据，比如ECG，EEG等信号数据。
文章举了一个应用的栗子，在一个fitness tracking device中，用多个传感器监测个人的行动序列数据，比如一个人走了（walking）五分钟,跑了（running）一个小时，然后坐了（sitting）十五分钟。在给定大量的多变量、带标签的历史数据下（标签就是walking，running和sitting等），如何根据当前检测到的多变量序列数据来判断该人的状态。
2、Challenges and Methods
MTSR的主要挑战：其一，和其他的机器学习的任务一样，how to obtain a good representation for MTSR；其二，是检索的效率和准确性，namely query efficiency and the ranking precision。下面也就是围绕着两点来展开（准确来说是三点，representation，query efficiency and the ranking precision ）。
（1）representation learning
传统的单变量学习中，使用的方法主要分三大类别：temporal methods（比如信号的统计特征，稀疏编码等），Spectral based methods（傅里叶变换，小波转换），Learning based methods（PCA，HMM等）。本文作者采用的是LSTM和CNN来进行representation learning，所以还是属于Learning based methods。LSTM负责学习各个变量的时序动态信息，而CNN负责捕获不同序列之间的关系。模型上很好理解，也很适合这种多变量序列数据，想象下如果是单变量序列数据，直接使用个LSTM就可以了。
（2）query efficiency
这个问题的解决办法设计的就很多了，本文是从相似度计算的角度来考虑的，没有采用传统的 DTW（动态时间规整）和ERP（实补偿编辑距离）等方法，采用的Hamming Space。
（3）ranking precision
为了提高准确度，本文提出了一种r-th root ranking loss function（在损失函数上做文章），利用该函数可以使汉距离排序表中上端的错误比底端的错误受到更大的惩罚。这个函数能很好适用这种ranking的任务，比如多标签分类，相似度排行等。损失函数如下：
①其中R相对相似度（relative similarity），这种相似度在类似的应用上用的比较多，比如给定a、b、c三个case，a和b相似的概率大于b和c相似的概率，这就叫做相对相似度，但怎么形式化这个相对相似度，看如下公式，其中 表示海明距离，该公式的意思是给定一个查询序列q，计算其与候选序列中i序列的相对相似度。
②正因为有这个 r>1 参数的引入，利用了幂函数的特性，使得作者提出的这个损失函数还可以保证排序表中上端的错误比底端的错误受到更大的惩罚。如下图，可以很直观的看出幂函数的特性，随着相对相似度R越大，也就是排行越靠近底端，该损失函数就做平滑，其斜率会变小。
③损失函数（公式12）很显然不连续，因为相对相似度的计算公式（11），就是一个离散的函数，并其hamming sapce也是一个离散空间，所以如果直接利用该函数作为目标函数，没法利用成熟的凸优化方法求解，
a、hamming空间好解决，直接把sgn数据（输出为1和-1的信号函数）替换成常见的tanh，sigmoid就行了，本文是用的是tanh函数，这里文章没做解释。
b、相对相似度R的计算常用的方法就是用如下的公式替换R中的相应部分：
至此，就可以用常见的方法SGD，Adam来求解和优化了。
3、Experiments
实证的三个数据集如下，都是公开的，在UCI仓库上可以找到。具体的结果分析请参考原文。
173
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
