时间序列预测最强模型DLinear代码详解

椰吉酒

于 2024-09-11 15:32:01 发布

阅读量991

点赞数 24

文章标签：人工智能算法 python 深度学习

本文链接：https://blog.csdn.net/Yubo1214/article/details/142138366

版权

时间序列预测算法现在也是百花齐放了，从统计学模型移动平均、指数平滑以及ARIMA等，到RNN-based的LSTM、GRU、LSTNet，再到如今爆火的Transformer-based的Informer、Autoformer等等。模型的复杂程度可以说是直线上升。之前一直知道DLinear，不过因为掉到transformer的坑里了，一直也没有了解。最近看了DLinear的原文，有点要给Time Series Forecasting洗牌的感觉，非常有意思。代码也非常非常简单，不过看到网上没有很详细的解析，所以尝试写一篇。

原文链接：https://arxiv.org/pdf/2205.13504v3

Github源码链接：https://github.com/cure-lab/LTSF-Linear

首先需要了解的是，我们的数据在时间序列网络里，通常是3个维度[B,T,N]，B指Batch Size即批次大小，T指Sequence Length即一个批次里时间序列数据的长度，N指Channels即通道数，也就是指特征的数量。

搞明白输入数据的结构后，就可以开始看看DLinear是怎么进行操作的。首先我们拿一个[128,288,9]的输入作为示例。

输入的第一行就会使用decompsition函数获得季节分量和趋势分量，下面来看一下decompsition（series_decomp）：

class moving_avg(nn.Module):

    def __init__(self, kernel_size, stride):
        super(moving_avg, self).__init__()
        self.kernel_size = kernel_size
        self.avg = nn.AvgPool1d(kernel_size=kernel_size, stride=stride, padding=0)

    def forward(self, x):
        front = x[:, 0:1, :].repeat(1, (self.kernel_size - 1) // 2, 1)
        end = x[:, -1:, :].repeat(1, (self.kernel_size - 1) // 2, 1)
        x = torch.cat([front, x, end], dim=1)
        x = self.avg(x.permute(0, 2, 1))
        x = x.permute(0, 2, 1)
        return x


class series_decomp(nn.Module):

    def __init__(self, kernel_size):
        super(series_decomp, self).__init__()
        self.moving_avg = moving_avg(kernel_size, stride=1)

    def forward(self, x):
        moving_mean = self.moving_avg(x)
        res = x - moving_mean
        return res, moving_mean

series_decomp所做的事情非常简单，通过调用self.moving_avg获取移动平均值，然后用原始值减去移动平均值获得他们的残差，残差res就别看作为季节分量，移动平均值就被看作为趋势分量。

下面来逐行看一下moving_avg的代码：

输入x的shape目前是[128,288,9]，x[:, 0:1, :]是取T维度第一个值，x[:, -1:, :]是取T维度最后一个值，此时这两个指的shape为[128,1,9]，然后通过repeat在第二个维度上复制kernel_size-1份，这么做的目的是因为数据在经过平均池化（AvgPool）后长度会缩短，因此需要在池化前将第一个数据和最后一个数据分别在首位多复制几份，保证池化后的到的序列和原始序列长度保持一致。