时间序列分析的表示学习时代来了？

微信公众号“圆圆的算法笔记”，持续更新NLP、CV、搜推广干货笔记和业内前沿工作解读~

后台回复“交流”加入“圆圆的算法笔记”交流群；回复“时间序列“、”多模态“、”迁移学习“、”NLP“、”图学习“、”表示学习“、”元学习“等获取各个领域干货算法笔记~

表示学习作为深度学习中的核心，近期越来越多的被应用到了时间序列领域中，时间序列分析的表示学习时代已经来了。本文为大家带来了2020年以来顶会的5篇时间序列表示学习相关的核心工作梳理。

1.Unsupervised Scalable Representation Learning for Multivariate Time Series(NIPS'20)

本文的时间序列表示学习方法思路来源于经典的词向量模型CBOW。CBOW中的假设是，一个单词的上下文表示应该和该单词的表示比较近，同时和其他随机采样的单词表示比较远。本文将这种思路应用到时间序列表示学习中，首先需要构造CBOW中的上下文（context）和随机负样本，构造方法如下图所示。首先选择一个时间序列xref，以及xref中的一个子序列xpos。，xref可以看成是xpos的context。同时，随机从其他时间序列，或者当前时间序列的其他时间片段中采样多个负样本xneg。这样就可以构造类似CBOW的损失函数了，让xref和xpos离得近，同时让xref和其他负样本xneg距离远。

​在模型结构上，本文采用了多层空洞卷积的结构，这部分模型结构在之前的文章中有过详细介绍，感兴趣的同学可以参考：12篇顶会论文，深度学习时间序列预测经典方案汇总

2.Unsupervised representation learning for time series with temporal neighborhood coding(ICLR'21)

本文提出的方法在正负样本的选择上和损失函数的设计上相比上一篇文章有一定区别。首先是正负样本的选择，对于一个以时刻t为中心的时间序列，文中采用一个高斯分布来划定其正样本的采样范围。高斯分布以t为中心，另一个参数是时间窗口的范围。对于时间窗口范围的选择，文中采用了ADF检验的方法选择最优的窗口跨度。如果时间窗口范围过长，可能导致采样的正样本和原样本不相关的情况；如果时间窗口过小，会导致采样的正样本和原样本重叠部分太多。ADF检验可以检测出时间序列在保持