论文解读20——OneNet: Enhancing Time Series Forecasting Models under Concept Drift by Online Ensembling

一、文章贡献

针对时间序列在线流数据的预测问题，提出了一种在线集成网络OneNet，对两个分别侧重于跨时间维度依赖关系和跨变量维度依赖关系的模型，使用基于强化学习的方法引入传统的在线凸规划中，动态调整权重进行线性组合，同时利用两种模型的优势解决数据随时间变化出现概念漂移的问题，提高预测精度。

• 概念漂移：以往批数据是基于历史数据进行预测，整个过程输入变量和输出变量关系是不变的。而在流数据中，数据是实时更新的，未来数据跟过去数据的模式会随时间发生变化，需要用在线的新样本不断更新模型。

在上篇PatchTST论文解读中，通道独立性（只考虑跨时间依赖，变量之间是独立的）对模型的稳定性非常重要，但是变量之间的依赖性同样重要，对于一个特定的变量，来自其他变量的信息可能会改善预测结果。

• 表1为在线集成的例子
  Cross-Variable：单纯跨变量依赖模型，时间独立，如TCN、FSNet
  Cross-Time：单纯跨时间依赖模型，变量独立，如Time-TCN、DLinear、PatchTST（通道独立性）
  Both：同一模型中既考虑跨变量依赖又考虑跨时间依赖，如Crossformer（两阶段注意力层）、TS-Mixer、FEDformer
  
  结果显示对于在线流数据，单纯跨变量依赖或跨时间依赖或同一模型中二者均考虑的效果都不佳。作者认为像Crossformer这样单一模型即使考虑两个方面效果也不好，于是提出用两个专门模型的结合处理在线流数据。

二、OneNet模型结构

• 多变量时间序列分别输入到两个独立的预测器f1、f2中，
  其中f1只考虑跨时间依赖性，变量之间是独立的；
  f2则只考虑跨变量依赖性，时间之间独立。
  两个模块为预测任务提供了不同但互补的归纳偏差，训练过程互不影响，最后使用OCP在线凸规划模块学习最佳权重组合。
  

在线凸规划OCP

OCP被用于学习最佳的权重组合，常用的方法有指数梯度下降（EGD），主要思想是给表现较好的预测器更大的权重，给表现较差的预测器更小的权重。

• 决策空间△是一个d维单纯形，即
  
  给定在线流数据x，预测目标为y，目标是将预测误差最小化：
  
  根据EGD，选择w为单纯形的中心点，每个w的更新规则为：
  
  
  其中Zt为正则化项，算法具有较好的遗憾边界。

然而EGD算法生成的权重w是基于长时间的历史性能，因此不能快速适应瞬态的环境变化，通过离线强化学习来解决这一问题。首先利用EGD获得长期权重w，其次引入一组不同的权重b来更好地捕捉近期变化的权重。

在离线强化学习中，将上一时间步模型的预测值结合长期权重，以及真实值作为输入，得到两个预测器短期的权重。最终两个预测器的权重将结合w和b，可以有效融合长期历史信息和短期环境的变化，提高在线流数据的预测效果。

其他细节请详看原文 OneNet
代码：github