【论文阅读】RevIN - Reversible Instance Normalization for Accurate Time-Series Forecasting Against Distrib

【论文阅读】RevIN - Reversible Instance Normalization for Accurate Time-Series Forecasting Against Distribution Shift

0. 论文基本信息

发表信息：ICLR 2022
论文地址：https://openreview.net/forum?id=cGDAkQo1C0p

1. 简介

时间序列预测中的主要挑战之一是数据分布漂移问题（distribution shift problem），即数据分布，比如数据的均值方差等，会随着时间而变化，这会给时序预测问题造成一定的难度（这类数据也成为非平稳数据non-stationary）。而在时序预测任务中，训练集和测试集往往是时间来划分的，这天然会引入训练集和测试集分布不一致的问题，此外，不同输入序列也会有数据分布不一致的问题。这两个不一致的问题都可能会导致模型效果的下降。

为了解决上述问题，可以想办法去除数据中的非平稳信息，但是如果只是简单的消除非平稳信息，会导致非平稳信息丢失，这可能会影响到模型无法学习到这部分信息，进而影响到模型效果。因此，论文提出了在模型输出后显式恢复非平稳信息的思路，这样既使模型在学习时忽略了数据漂移的问题，又避免了非平稳信息的丢失。

本篇论文提出的是一种数据规范化的方法，命名为“可逆实例规范化” （reversible instance normalization，RevIN）。具体来说，RevIN包含两部分，规范化和逆规范化，首先在数据输入模型前，将数据进行规范化，然后经过模型学习后得到模型输出，最后对模型输出进行反规范化。RevIN是一种灵活的，端到端的可训练层，能够被应用到任意模型层。

论文将RevIN运用到多种SOTA的时序预测模型上，均取得了较好的效果，下图是一个效果的直观对比。

2. 论文方法介绍

定义
将时序预测任务的输入表示为： X={ x(i)}i=1NX = \{x^{(i)}\}_{i=1}^NX={ x(i)}i=1