时序特征提取论文解读|TSLANet: 重新思考用于时间序列表示学习的Transformers

论文题目：TSLANet: Rethinking Transformers for Time Series Representation Learning

论文地址：https://arxiv.org/pdf/2404.08472

代码地址：https://github.com/emadeldeen24/TSLANet/tree/main

一、论文简介

背景：

Transformer在处理那些较小数据集的任务时，由于其较大的参数大小，这可能导致过拟合和计算效率低下的问题。自注意力机制对数据的噪声也敏感，同时不能很好的保存时间信息，因此在时间序列预测方面，单个线性层的表现惊人地优于复杂的Transformer架构。但是这样的线性层可能无法处理复杂的、有噪声的时间序列。

论文从多层感知器(MLPs)和Transformer转向挖掘CNN操作在时间序列分析中的潜力。

利用CNN进行多时间序列任务的一个值得注意的尝试是TimesNet模型，该模型利用多周期性在二维空间内合并周期内和周期间的变化，增强了时间模式的表示。然而，TimesNet可能无法完全解决缺乏明确周期性的非平稳数据集所带来的挑战。

主要贡献：

1.提出一种叫时间序列轻量级自适应网络（Time Series Lightweight Adaptive
Network ，TSLANet）。包含自适应频谱块（Adaptive Spectral Block ，ASB) 和交互卷积块（Interactive Convolution Block ，ICB)两部分。

2.TSLANet在分类、预测和异常检测的任务中优于最先进的模型。

二、模型结构

论文提出的TSLANet的结构。将输入时间序列分割成patches，并添加位置嵌入。接下来，输出嵌入通过TSLANet层，其中每层由两个主要组件组成。

第一个是自适应频谱块ASB，它利用频域表示进行鲁棒特征提取，并采用自适应阈值来减轻噪声。第二个是交互式卷积块ICB，它通过卷积操作捕获复杂的时间模式。

2.1 Adaptive Spectral Block（ASB）

1. FFT
   ​ $$F=\mathcal{F}[S_{PE}]\in C^{C\times L^{\prime }}$$
   对时间序列的每个通道进行独立FFT变换，得到一个综合的频域表示F，它封装了原始时间序列在所有通道上的频谱特征。

2. 高频噪声的自适应去除
   高频分量通常代表偏离潜在趋势或信号的快速波动，使它们看起来更加随机且难以解释。因此，提出了一种自适应局部滤波器，允许模型根据数据集特征动态调整滤波水平，并去除这些高频噪声成分。在处理频谱可能随时间变化的非平稳数据时，这一点至关重要。该滤波器自适应地为每个特定的时间序列数据设置合适的频率阈值。
   首先计算F的功率谱，这有助于识别主导频率成分:$$P=|F{|}^2$$
   通过一个可训练的阈值θ来实现这一点，该阈值根据数据的光谱特征进行调整。这个阈值θ被设置为一个可学习的参数
   ​ $$F_{filtered}=$$