【论文阅读】2022 N-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting

论文地址：https://arxiv.org/pdf/2201.12886.pdf
论文代码：https://github.com/Nixtla/neuralforecast

1. 简介

本篇论文是N-Beats模型的改进，不了解N-Beats模型的可以先看【论文阅读】N-BEATS

长时间序列预测有两个常见的难点，一是预测结果的波动性大，二是计算复杂度高。本篇论文在N-BEATS模型的基础上，提出了一种新的模型N-HiTS，通过引入Hierarchical Interpolation和multi-rate data sampling技术来解决上述两个问题。

1.1 N-HiTS和N-BEATS对比

图1展示了N-HiTS和N-BEATS模型的对比：
（a）随着预测长度（Horizon）的增加，N-BEATS的速度变慢、参数量变多，N-HiTs则缓解了这两个问题；
（b）随着预测长度（Horizon）的增加，N-BEATS的误差变大，N-HiTs误差基本无变化。
（c）展示了论文中核心思想，即分不同频率采样预测后插值的思想，用来缓解文章开头提到的两个问题。

1.2 核心贡献

1. Multi-Rate Data Sampling 多频率数据采样
   每个block时序数据输入MLP之前先进行下采样，这样做的好处是，1 是缩短了时序长度，从而更容易进行长时序预测， 2是节省了存储量和计算复杂度
2. Hierarchical Interpolation 分层次插值
   和下采样是正好对应的，在预测结果上又做了个上采样，从而和输出长度匹配
3. N-HiTS architecture
   提出了一种新的模型架构
4. State-of-the-art results
   在6种数据集上取得了SOTA效果

2. 模型架构

N-HiTS模型是N-BEATS模型的扩展，提升了模型预测准确度和计算效率，特别在预测长时序（long-horizon forecasting）时效果提升更明显。

N-HiTS模型的整体架构和N-BEATS一致，均由多个stack堆叠组成，每个stack包含多个block。区别在于N-HiTS种每个block加了一个MaxPool层进行pooling操作，实现下采样，并对block输出进行插值处理，使输出数量达到预测Horizon数量。

2.1 Multi-Rate Data Sampling

如图2最右侧，每个Block的输入先经过一个MaxPool层，进行一次时域上的最大池化，将时间序列采样为多种粒度的序列。池化核的大小为$k_l$，当$k_l$越大，得到的序列更加低频/尺度较大；反之，则是更加高频/尺度较小，文中将这种采样方式称为multi-rate signal sampling。

不同的block使用不同的采样率，从而得到不同尺度的序列。这使得不同的block专注于解决特定频率和尺度的序列。

这样做的好处是，下采样之后，序列长度变短了，所以复杂度变低了，效率变高了。此外，也减少了模型参数量，避免了过拟合的风险，又保持了原始的感受野。

2.2 Hierarchical Interpolation

由于每一个block输入序列进行下采样后，对应的输出会相应的少于目标Horizon，因此在预测结果上又做了个上采样。

下采样的核$k_l$越大，输入序列越短、尺度越大，预测出来的未来序列也就越短，要想得到和期望Horizon一样的长度，就做一个上采样，论文使用插值的方式（比如线性插值，二次插值），通过插值，使最终的输出个数达到期望Horizon数量。$k_l$越小，序列越长、尺度越小，预测出来的未来序列就越长，就可以少插值一些。

模型每个stack负责不同尺度的预测，最后把不同尺度的预测序列插值到相同个数（也就是期望预测Horizon的大小），然后相加得到最终的输出。论文提出不同stack的采样核大小使用指数减小的方式来确定。

3. 实验

表1展示了在6个数据集上的实验效果，可以看出N-HiTS模型超过或达到了SOTA效果。

下图展示了不同模型训练速度和内存占用情况，N-HiTS都更有优势。

图5展示了消融实验结果，验证了多频率采样和分层插值的有效性