AR-Net: A SIMPLE AUTO-REGRESSIVE NEURAL NETWORK FOR TIME-SERIES 阅读笔记

AR-Net: A SIMPLE AUTO-REGRESSIVE NEURAL NETWORK FOR TIME-SERIES 阅读笔记

摘要

结合了传统的统计模型和神经网络

我们关注具有长期依赖关系的时间序列，用于监控细粒度数据（例如，分钟、秒、毫秒）。

传统的模型，如用最小二乘拟合的自回归(classic-ar)可以用一个简洁和可解释的模型来建模时间序列。在处理长期依赖关系时，ClassicAR模型可能会变得难以适应大数据。

最近，序列到序列的模型，如递归神经网络，原本是用于自然语言处理的，已经在时间序列中流行起来。然而，对于典型的时间序列数据，它们可能过于复杂，并且缺乏可解释性。需要一个可扩展和可解释的模型来连接基于统计和基于深度学习的方法。

我们的结果导致了三个主要结论：首先，AR-Net学习了与ClassicAR相同的ar系数，因此同样可解释。其次，与经典-AR的二次复杂度相比，AR-net的AR过程的计算复杂度是线性的。这使得在细粒度数据中建模长期依赖关系成为可能。第三，通过引入正则化，AR-Net自动选择和学习稀疏的ar系数。这就不需要知道ar过程的确切顺序，并允许学习具有长期依赖关系的模型的稀疏权值。

相关工作

• ARIMA、Prophet：强假设，模型简洁可解释。无法大量数据训练，难以扩展
• RNN：LSTM等，克服可扩展性。无法解释

论文内容

解决的问题（如有实际应用场景请说明）

1. AR处理高维拟合（拟合高阶p阶AR）慢
2. RNN常用于NLP，CNN于CV
3. 常见网络无法解释

可行性

有两个属性使一般神经网络对时间序列建模具有吸引力。

1. 首先，神经网络具有一般的非线性函数映射能力，可以逼近任何连续函数。因此，只要有足够的数据，它就能够解决许多复杂的问题。
2. 其次，神经网络是一种非参数数据驱动模型，它不需要对生成数据的基础过程进行限制性假设。由于这个特性，与大多数参数非线性方法相比，它不太容易出现模型错误指定问题[Hornik:1989:MFN:70405.70408 , Cybenko1989 ]这是一个重要的优势，因为时间序列建模不显示特定的非线性模式。不同的时间序列可能具有参数模型无法捕获的独特行为。

解决问题的方法（采用什么模型框架等）

---

1. 基本形式的AR-Net与Classic-AR一样可解释，因为它们学习的参数几乎相同。
2. AR-Net 可以很好地扩展到大p-orders，可以估计远程依赖关系（在高分辨率监控应用程序中很重要）。
3. AR-Net 自动选择和估计稀疏 AR 过程的重要系数，从而无需了解 AR 过程的真实顺序。

我们制定了一个模仿Classic-AR 模型的简单神经网络，唯一的区别是它们如何适应数据。我们的模型称为AR-Net，以最简单的形式，与线性回归相同，符合随机梯度下降(SGD)。
我们表明AR-Net与Classic-AR 模型 具有相同的可解释性，并且可以扩展到大的p阶。正如我们在未来的工作部分中讨论的那样，我们的愿景是利用更强大的深度学习时间建模技术，而不通过时间序列组件的显式建模来牺牲可解释性。

---

AR-NET MODEL

Sparse AR-Net

In order to relax the constraint of knowing the true AR order, we can fit a larger model with sparse AR coefficients.This will also do away with the assumption that the AR-coefficients must consist of consecutive lags.
We achieve this by adding a regularization term R to the loss L being minimized.
放松了AR必须由相邻连续的几阶滞后值来构建的假设，通过加入正则项来实现
正则的目的
和常见的目的不同，是希望惩罚项将小权重设置为0，而非防止某项权重过大，并保持其余权重不变。（sparse的由来）

本文贡献

大多数与时间序列相关的文献都集中在复杂模型上。然而，我们的研究对神经网络和最简单的经典自回归 (AR) 模型之间的差异进行了更基本的观察。我们专注于简单的前馈神经网络，以提高与经典时间序列模型平行的可解释性和简单性，并具有可扩展性的额外好处。我们故意不使用更强大的方法，例如使用循环网络或卷积对潜在状态进行建模，因为我们的目标是接近而不是扩大传统时间序列和深度学习方法之间的差距。我们希望通过AR-Net展示 深度学习模型可以简单、可解释、快速且易于使用，因此时间序列社区可能会认为深度学习是一个可行的选择。

仍旧存在的问题（注明论文中说明的问题或自己认为存在的问题）

1. sparse ar-net 参数设置的主观性

实验内容

实验采用的数据集

As we need knowledge of the true underlying AR coefficients in order to quantitatively evaluate the quality of the fitted weights, we use synthetic data.需要知道真实值才能判断拟合值的拟合效果

We generate the data with a noisy AR-process.

1. 已知真实p阶：随机生成AR系数，生成序列125000个数据，100,000 samples for training and the last 25,000 samples for testing.
2. 未知真实p阶：在稀疏 AR 实验中，我们将 AR 参数固定为[0.2，0.3，-0.5 ] ，以减少可能不稳定的AR 参数组合引入的随机性。我们仍然使用新的随机噪声生成每个时间序列。由于已知大多数基于神经网络的方法都需要大型数据集，因此我们进一步对仅 1000 个训练样本和 1000 个测试样本的时间序列进行了一些特殊实验，以证明我们的方法也适用于中等规模的数据集。

实验任务

实验衡量指标

1. Primarily, we evaluated the precision of the fitted AR-coefficients compared to the true AR-coefficients of the AR-process used to generate the data. 参数近似程度（通过已知的真实系数）

2. Secondarily, we evaluated their one-step-ahead forecast performance.预测能力

结果

未知p阶：稀疏ar-net普适性更好，结果更优

实验说明所提出方法的优点

思考内容（阅读论文后自己思考填充）

论文的主要优点是什么

论文仍然可以改进的地方是什么

以此论文为出发点，如果需要你做一篇和其相关的顶会论文，你需要的资源是什么？数据，硬件，技术支持等

其他想要补充说明的内容

AR过程

https://blog.csdn.net/FrankieHello/article/details/80883147