运用高斯核模型进行最小二乘回归_计量经济学：一元线性回归模型的统计检验与预测...

图片来自网络，侵删

断更一年了……

终于想好要来填坑了！！！

在进行了模型的参数估计之后，我们下一步就该进行“模型的检验”了，这既包括统计检验，也包括经济检验。经济检验要看模型估计的参数是否符合经济理论或者说常识，而统计检验则有着更加复杂的计算。

一般而言，我们将模型的检验分为两个部分：

1，模型拟合程度怎样？

2，模型的参数是不是真的有意义？

一、拟合优度与可决系数

拟合优度：模型对所有样本观测值的拟合程度。

下图呈现了一条典型的一元线性回归图像：

图中，黑色的线表示

，红色的线就是样本回归函数

。正如我们进行OLS估计时所想的一样，我们可以考虑比较“残差平方和”

的大小。值得注意的是，我们通过OLS估计出来的模型，是在当前样本的条件下，所得到的残差平方和最小的模型，而与其他不同抽样环境下的模型或者是其他问题的模型比较，仍然是可以使用残差平方和这一值进行比较的。

那么使用残差平方和（residual sum of squares, RSS）作为拟合优度的比较真的合适吗？当然不，因为RSS是一个绝对量，它的值极有可能随着样本量的增大而增大。我们应该使用相对量进行比较。

考虑总离差平方和（total sum of squares, TSS），也就是

，这是将所有的样本与其平均值差的平方加总起来的值。

对于

我们可以将其分解为：

那么，

，而其中：

根据正规方程组可知

，此时，我们就可以得知：

也就是说，总离差平方和=回归平方和（explained sum of squares, ESS）+残差平方和。如果要取相对量进行比较的话，我们一般也希望“越大越好”，所以，我们建立一个名为“可决系数”的统计量：

，越接近于1表示拟合程度越好。

值得注意的是，

的值是随着样本变化而变化的，所以它不仅仅是一个值，也是一个“统计量”；与之相同的，还有

等。

另外，我们重新审视

可以发现，

将其约分化简之后，我们可以发现，在一元线性模型OLS估计中，可决系数等于

与

的相关系数的平方。

二、模型参数的检验

正如前文中提及的，

也是一个统计量，而统计量是可以进行假设检验的。

我们 注意到，当

时，这个总体模型就没有意义了，所以我们以

为例，建立原假设：

这是一个双侧检验，进行假设检验，必须知道统计量

的分布，下面我们就来探讨这个问题：

1）根据模型最初的五个假设：

夔小攀：计量经济学：一元线性回归模型的基本假设​zhuanlan.zhihu.com

，而由此推论出来

，那么在此对应

的样本下（一个

对应多个

），是所估计的

的线性组合，所以

也应该服从正态分布。

2）根据OLS估计下的估计量性质计算：

夔小攀：计量经济学：一元线性回归最小二乘估计（OLS）及其检验​zhuanlan.zhihu.com

这其中，

是未知的，我们需要找到一个合适的方法去估计。

3）最小二乘估计、极大似然估计、矩估计中的

估计量：

最小二乘估计中，我们以矩阵的角度考虑会更加清晰（挖坑：请大家期待多元线性回归），我们在这里不加解释地给出：

而对于极大似然估计与矩估计

夔小攀：计量经济学：一元线性回归 最大似然估计（MLE）与矩估计（MM）​zhuanlan.zhihu.com

极大似然估计中，对数似然函数为：

对

求偏导可得：

矩估计中，总体矩

对应的样本矩为：

既然最小二乘估计量是最小方差的，那么与最小二乘估计想比，就可以知道，极大似然估计与矩估计的估计量必然不具有“有效性”。

4）构建统计量，进行检验：

这里

表示

的方差，我们可以通过计算得到，

，据此进行假设检验，当

时，（

代表样本量，

代表显著性水平），就表示在

的显著性水平下拒绝原假设，认为变量

是显著的。

当然，稍加变化就可以进行

的置信区间的估计，以期更好地理解“总体回归模型”，

的置信区间为：

通过增大样本容量，提高模型拟合优度，就能够缩小置信区间。

三、一元线性回归的预测

1） 条件均值的预测值：代入

对于总体回归函数中的

，我们直接代入

就可以得到它的无偏估计。对于总体回归函数中的

自然也是如此。

2）条件均值的置信区间

根据：

据此可知：

可以构造：

由此得出

的置信区间为：

3）总体个别值的置信区间

那么可以构建统计量：

由此可以得出

的置信区间为：