自监督学习论文解读|TimeMAE:解耦掩码自编码器时间序列的自监督表示

论文题目：TimeMAE: Self-Supervised Representations of Time Series with Decoupled Masked Autoencoders

论文地址：https://arxiv.org/abs/2303.00320

代码地址：https://github.com/Mingyue-Cheng/TimeMAE

1 摘要

利用自监督预训练增强基于深度学习的时间序列模型的表达能力在时间序列分类中越来越流行。尽管已经投入了大量的努力来开发时间序列数据的自监督模型，但我们认为目前的方法还不足以学习最佳的时间序列表示，因为在稀疏的点方向输入单元上只有单向编码。在这项工作中，我们提出了TimeMAE，这是一种新的自监督范式，用于学习基于变压器网络的可转移时间序列表示。TimeMAE的独特之处在于通过窗口切片分割将每个时间序列处理成一系列不重叠的子序列，然后对局部子序列的语义单元进行随机屏蔽策略。这样一个简单而有效的设置可以帮助我们实现一石三鸟的目标，即：**(1)使用双向编码方案学习时间序列的丰富上下文表示；(2)增加基本语义单位的信息密度；(3)利用变压器网络对时间序列进行高效编码**。然而，在这样一种新的公式化建模范式上执行重构任务是一件非常重要的事情。

为了解决新注入的掩码嵌入所带来的差异问题，我们设计了一种解耦的自编码器架构，该架构分别使用两个不同的编码器模块学习可见(未掩码)位置和掩码位置的表示。

此外，我们构建了两类信息目标来完成相应的托辞任务。一种方法是创建一个标记器模块，该模块为每个掩码区域分配一个码字，从而允许有效地完成掩码字分类(MCC)任务。另一种是采用连体网络结构对每个屏蔽输入单元生成目标表示，目的是进行屏蔽表示回归(MRR)优化。经过全面的预训练，我们的模型可以有效地学习可转移的时间序列表示，从而有利于时间序列的分类。我们在五个基准数据集上进行了大量实验，以验证TimeMAE的有效性。实验结果表明，TimeMAE能够显著超越以往的竞争基线。此外，我们还通过迁移学习实验证明了学习表征的普遍性。为了我们结果的可重复性，我们公开了我们的实验代码，以促进时间序列的自监督表示:https://github.com/Mingyue-Cheng/TimeMAE。

2 背景

2.1 Transformer

Transformer 在 NLP 和 CV 领域被广泛应用，但是 Transformer 进行时间序列分类可能无法获得令人满意的结果。部分原因为：注释数据有限，因为 Transformer 架构严重依赖于大量的训练标签。虽然先进的传感器设备使得收集时间序列数据变得非常容易，但在一些现实场景中，获得大量准确的带注释的时间序列数据是耗时的，容易出错的，甚至是不可行的。

2.2 自监督学习

这一困难激发了一系列致力于挖掘未标记时间序列数据的工作。自监督学习已经成为从未标记数据中学习可转移模型参数的一种有吸引力的方法，在语言和视觉领域取得了巨大成功。该方法的基本方案是首先获得预训练模型，根据原始未标记数据构建的自监督训练信号，通过制定借口任务进行优化。然后，通过表征特征或完全微调的方式，将预训练好的模型作为目标任务模型的一部分。

目前的研究主要遵循重构和判别两种范式。重建方法的思想试图通过依赖于自编码器来恢复完整的输入。例如，TimeNet首先利用编码器将时间序列转换为低维向量，然后利用解码器基于递归神经网络重构原始时间序列。另一种代表性的重构方法是TST，其主要思想是通过基于变压器架构的去噪自编码器来恢复这些被屏蔽的时间序列点。然而，重构优化是在逐点水平上建模的，导致非常昂贵的计算消耗和有限的可泛化性。

判别法的计算量较少，其主要解决方法是将正例拉到一起，将负例推到一边，即对比学习的范式。这些方法的一个共同的基本主题是，它们都使用数据增强策略学习表征，然后使用连体网络架构最大化正例的相似性。关键的工作是通过各种负抽样策略求解平凡常数解。

例如，在T-Loss中，同时使用了基于时间的三重损耗负采样。TNC利用时间序列信号的局部平滑性，将子序列邻域视为正例，将非邻域视为负例。TS-TCC使用点级和实例级对比优化目标来对齐相应的表示。