时间序列预测 —— 为什么线性自回归模型（AR）有效？

从趋势预测的角度

对一个数值序列进行预测，就要知道当前变化的趋势。

所谓变化趋势，无非就是各阶导数。

已知了系统的若干阶导数, 如果采用泰勒展开式来预测:
$$\begin{array}{lrccccccc}& & & & y(t+h)\simeq y(t)+y^{\prime }(t)h+\frac{1}{2}{y}^{\prime \prime }(t)h^2,& & & & (1)\end{array}$$
从数值近似的角度来看:
$$\begin{array}{ll}{y}^{\prime }(t)& \simeq \frac{y(t)-y(t-h)}{h}\\ & \\ y^{\prime \prime }(t)& \simeq \frac{y^{\prime }(t)-y^{\prime }(t-h)}{h}\\ & \\ & \simeq \frac{y(t)-2y(t-h)+y(t-2h)}{h^2}\end{array}$$
带入(1)式得:
$$\begin{array}{ll}y(t+h)& \simeq y(t)+\frac{y(t)-y(t-h)}{h}h+\frac{1}{2}\frac{y(t)-2y(t-h)+y(t-2h)}{h^2}{h}^2\\ & \\ & =\frac{5}{2}y(t)-2y(t-h)+\frac{1}{2}y(t-2h)\end{array}$$
得出下一时刻的预测值是序列历史值得加权和, 和自回归模型(AR)是一致的:
$$y_t=w_0+\sum _{i=1}^n{w}_i{y}_{t-i}+{ϵ}_t$$

因为在数值计算上, 变量的微分可以近似成历史值的线性组合, 所以自回归模型等价于将序列当前的变化趋势延伸到未来！

自回归系数可以从数据中学习得到，如使用最小二乘法。

从周期预测的角度

如果已知一个序列的周期为 $S$，那么很自然有如下（稀疏的）自回归模型：
$${\hat{y}}_{t+1}=y_{t+1-S}$$

直接用一个周期之前的测量值来预测下一时刻，通常称之为 Seasonal Naive. 这说明了线性自回归模型可以用来预测任意周期序列，是不是很奇妙。