AR模型

AR模型:

具有如下结构的模型称为p阶自回归模型,简记为AR(p):

AR(p)模型有三个限制条件:

  • 。保证模型的最高阶数为p。
  • 随机干扰项序列 为零均值白噪声序列。
  • 当期的随机干扰项与过去的序列值无关,即:

中心化AR(p)模型:

当a0=0时,自回归模型称为中心化AR(p)模型。非中心化AR(p)模型可以通过下面的变化转换为中心化AR(p)序列。

P阶自回归系数多项式:

引进延迟算子B:

则中心化AR(p)模型可以简记为:

AR模型平稳性判别:

特征根判别法:

将AR(p)模型看作一个非齐次线性方程:

  1. 齐次线性差分方程的通解:

由线性差分方程的相关理论可以知道齐次线性方程的通解为:

其中为特征方程的p个特征根。

  1. 非齐次线性差分方程的的特解:

可以证明AR(P)模型的自回归系数多项式方程的根是齐次多项线性差分方程的特征根的倒数。

  • 自回归系数多项式方程
  • 的特征方程:

因此,可以因子分解成:

由此可以得到一个特解:

  1. 非齐次线性差分方程 的通解:

要使得AR(p)模型平稳,即要求对任意的实数{ci},都有

即可得到AR(p)平稳的充要条件:

上面的条件实际上就是要求AR(p)模型的p个特征根都在单位圆内。由特征根与自回归系数多项式的根成倒数的性质,也即的根都在单位圆外。

平稳域判别法:

  1. AR(1)模型的平稳域:

  2. AR(2)模型的平稳域:

平稳AR模型的统计特征:

均值:

在AR(p)模型等式两边取均值:

由平稳序列均值为常数,以及{}为白噪声序列可得:

中心化的AR(p)模型均值为0.

方差:

求AR(p)模型的方差需要借助Green函数,附录中给出了详细推导。

Gj函数的递推公式如下:

则:

由于{}是白噪声序列,方差相等,

 

平稳AR(1)模型的方差:

可以很容易得出此时格林函数的递推式:

自协方差:

对中心化AR(p)模型两边同乘,再求期望有

由AR(p)模型的限制条件3有

故可以得到自协方差函数的递推公式:

平稳AR(1)模型的自协方差函数

AR(1)的自协方差函数递推关系式为:

所以:

自相关系数:

由于自相关系数和自协方差有如下的关系:

可以得到自相关系数的递推式:

平稳AR(1)模型的自相关系数:

附录:

平稳AR(p)模型的方差推导:

,称为Green函数,则

展开整理:

    

又:

且:

整理后两项

所以:

有:

由待定系数法可以得到Green函数的递推式:

 

### 多元线性回归中的中心化处理 在多元线性回归模型中,当对自变量进行中心化处理时,截距项会发生变化,而其他回归系数则保持不变。为了证明这一点,考虑原始的多元线性回归方程: \[ y_i = \beta_0 + \sum_{j=1}^{p}\beta_j x_{ij} + \epsilon_i, \quad i = 1,\ldots,n \] 其中 \(y_i\) 是因变量观测值;\(x_{ij}\) 表示第 \(i\) 个样本点上第 \(j\) 个预测因子(即解释变量)的取值;\(\beta_j (j = 0,..., p)\) 是待估计参数向量;最后 \(\epsilon_i\) 代表随机误差。 如果我们将每个特征减去其均值,则得到新的矩阵形式如下所示[^1]: \[ X_c=(X-\bar{X})=\begin{pmatrix} (x_{11}-\overline{x}_1)&...&(x_{1p}-\overline{x}_p)\\ .&.&. \\ (x_{n1}-\overline{x}_1)&...&(x_{np}-\overline{x}_p) \end{pmatrix}, \qquad Y_c=Y-\bar{Y}=y-(\frac{\sum^n_{i=1}{y_i}}{n}) \] 此时可以构建一个新的线性关系表达式: \[ y_i - \bar{y} = (\beta_0+\sum^p_{k=1}{\beta_k\cdot\overline{x}_k})+(\sum^p_{l=1}{\beta_l}(x_{il}-\overline{x}_l))+e_i \] 这里注意到括号内部分实际上就是原数据集下的拟合直线经过平移后的常数偏置项,因此可定义新模型为: \[ e'_i=y_i'=\gamma+(x_i'-\mu_x')^\top\theta'+v_i', \quad v'\sim N(0,\sigma'^2I_n), \] 通过最小二乘法求解上述公式可知,在这种情况下斜率不会受到影响,因为协方差阵结构未发生改变,只是位置发生了移动而已。所以对于任意给定的数据集而言,只要进行了适当标准化操作之后再做OLS估计的话,那么最终获得的结果应该是一致性的[^2]。 ```python import numpy as np def ols(X, y): """Ordinary Least Squares estimation.""" beta_hat = np.linalg.inv(X.T @ X) @ X.T @ y return beta_hat # Generate some random data with mean different from zero. np.random.seed(42) N = 100 P = 3 X = np.hstack([np.ones((N, 1)), np.random.randn(N, P)]) true_beta = np.array([[5], [-2], [1], [3]]) noise = np.random.normal(size=N).reshape(-1, 1) y = X @ true_beta + noise # Center the variables except intercept column. centered_X = X.copy() for col in range(1, centered_X.shape[1]): centered_X[:, col] -= centered_X[:, col].mean() print("Original Beta:", ols(X, y)) print("Centered Variables Beta(except Intercept):", ols(centered_X, y)[1:]) ```
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值