高斯马尔科夫定理(Gauss-Markov Theorem)证明了如果误差满足零均值、同方差且互不相关,那么利用最小二乘法(OLS)进行线性回归得到的估计参数是最佳的以及无偏的。所以普通最小二乘法估计是对回归系数的最佳线性无偏估计(BLUE, Best Linear Unbiased Estimator)。
(一) 回归分析---线性回归
回归模型研究的是变量与变量之间的关系,线性回归研究的就是变量与变量之间的线性关系。
这种关系实际上仅是一种统计关系,利用实际数据估计出各变量之间影响程度与方向,也就是我们要估计出的各个参数。
总体回归模型的一般形式为
这里的
为随机扰动项(随机误差),指对解释变量有影响但又未被列入模型系统部分的所有因素总和,包含省略误差与测量误差等。
由于随机扰动项的存在,虽然我们的各个参数
是实际存在的,但是我们无法得到真实值,只能进行估计,这就是计量经济学的主要任务。
线性回归模型是最常用的回归模型。 当函数f是线性时,模型为
就是要在在空间中找到形如直线(X是一维)或是一个平面(X是高维)的函数来拟合实际统计到的数据。下图的数据点很明显围绕一条直线上下波动。
注意:我们这里所说的线性的意思是对参数而言,即解释变量X对被解释变量的边际效应