ols回归模型是什么意思_【计量经济学笔记】多元线性回归2--古典线性回归模型的假设&OLS的小样本性质...

古典线性回归模型（classical linear regression model, CLRM）的假定

【1】线性性（linearity）（linear in parameters）

本来是说，解释变量x们对y的边际效应（也就是那些系数β们）是常数，即线性的，但是如果说某些变量对y的边际效应不是常数，是可变的，那我们可以把平方项、交叉项视作一个新的变量，这样他们的系数还是常数，就依然符合线性性的假设。

那这样看来，其实这个线性性的假设，本质上就成了：回归函数是对参数βi线性的（linear in parameters）。

【2】严格外生性（strict exogeneity）→扰动项与解释变量不相关&正交

指的是，样本i的扰动项均值独立于所有样本的解释变量的观测数据，并非仅仅是样本i的解释变量。表示如下：

这意味着，样本i的扰动项与所有的解释变量都不相关。

一点补充：关于正交&不相关。

【3】不存在严格多重共线性→保证βhat可求得

也可以描述为，数据矩阵X满列秩，亦即，X中没有多余的变量。

一般来说，如果X满列秩，那么可以推得：X’X是正定矩阵，其可逆。这样βhat就可以求得。

而如果X没有满列秩，则X’X逆矩阵不存在，就无法定义估计量βhat，此时称β“不可识别”。

【4】球型扰动项

即，扰动项条件同方差、无自相关。

其协方差矩阵如下：

叫“球型扰动项”是因为，其协方差矩阵与单位矩阵成正比，每个分量到原点的距离都是σ平方。

（主对角线上的值——自己的方差；非主对角线上的值——不同个体的扰动项之间的协方差，此处全部为0）

同方差就体现在：对角线上的各个分量的方差都是一样的。

无自相关/无序列相关体现在：不同个体扰动项之间的协方差全为0。

（无自相关指的是扰动项ε自己的分量跟分量之间没有相关性，“无序列相关”常用于年度数据的表述）

OLS的小样本性质

OLS的估计量是样本数据的函数，也是一个随机变量，它的分布就称为“抽样分布”。

【性质1】线性性

指的是，βhat是一个线性估计量，它是y的线性组合，（X’X）-1X是系数矩阵。

【性质2】无偏性

即，估计量βhat不会系统地高估/低估β。

证明如下：

由此可以推得，βhat的期望=β（利用迭代期望定律）。

【性质3】估计量的协方差矩阵

βhat的估计是点估计，要判断它估计得好不好，与协方差有关。

要求βhat的协方差矩阵，可以先求X条件的协方差矩阵，然后利用迭代期望定律求得最终的结果。

在初期的时候，扰动项ε的协方差矩阵非常难计算，于是有了球型扰动项假定，代入其协方差矩阵：

【性质4】高斯—马尔可夫定理：OLS是最佳线性无偏估计（best linear unbiased estimator, BLUE）

指的是，在某个范围内，OLS估计是最有效率的。

这个范围是：线性无偏估计量。

最有效率指的是：方差最小。

非线性时，最大似然估计更有效率。

【性质5】扰动项方差的无偏估计

在性质3里，我们为了判断估计量的好坏，需要求得估计量的协方差矩阵。经过推算以及球型扰动项的应用，估计量的条件协方差矩阵化为一个含有扰动项方差的表达式。

我们需要知道扰动项方差，才能进一步计算估计量βhat的协方差矩阵，来判断βhat是否可靠。

而扰动项是不可观测的，其方差无法计算，所以我们将残差视为扰动项的实现值，将残差的方差视为扰动项的方差的估计值：

关于标准误（差）：

误差的标准差，又叫做标准误（差）。此处s是残差ei的标准差，残差ei其实就是拟合值对于真实值y的误差。

更一般而言，对于某个统计量的标准差的估计值，称为它的标准误（差）。

有了标准误，才能知道估计的准确程度。