1 最小二乘法的历史
不管是学习机器学习、计量经济学、数理统计,很多人接触到的第一个算法就是最小二乘法(least squares method)。
这是一个非常古老的方法。早在18世纪早期,在天文学和航海领域就已经出现了最小二乘法的思想。真正意义上第一个正式发表该方法是在1806年的法国科学家Legendre,而数学王子Gauss据说在更早时候就发现了该方法,但直到1809年他在发表计算天体运动轨道时才正式使用,两人也为谁是第一个发现的争论不休。
Gauss毕竟是数学王子,1829年,他又首次证明出,在线性无偏估计量的类中,OLS估计具有最小的抽样方差。在他的证明中,假设了线性回归模型中的误差项是独立且正态分布的,后来,由Markov将假设放宽到只需要误差项不相关、同方差且期望为0即可。因此,该定理最终被命名为Gauss-Markov定理。
2 小样本OLS回归的框架
做OLS回归是为了什么?简而言之,在假设了数据生成过程 y = β ′ x + ε y=\beta' x+\varepsilon y=β′x+ε并收集到一系列 ( x , y ) (x,y) (x,y)的数据之后,我们可以做的事情有3个,这也是我们学习OLS回归的路线:
- 得到系数的点估计;
- 判断数据拟合得如何?
- 得到系数的区间估计,进行假设检验。
首先,我们先利用数据得到点估计 β ^ \hat{\beta} β^,由此还可以得到它的一系列性质,然后,可以通过计算如 R 2 R^2 R2等一系列指标来说明拟合得如何,最后,在得到区间估计后,可以对预先的有关于系数的假设进行假设检验。
2.1 点估计及其性质
在使用OLS回归之后,可以得到
β ^ = ( X ′ X ) − 1 X ′ y \hat\beta=(X'X)^{-1}X'y β^=(X′X)−1X′y
这就是系数的点估计,可以看下它有什么样的性质。
首先,它是 y y y的线性组合,具有线性性,另外,在施加一些假设后,它的条件期望是对系数的无偏估计,即 E ( β ^ ∣ X ) = β \mathbb{E}(\hat\beta|X)=\beta E(β^∣X)=β,而它的方差则由Gauss-Markov定理保证了是最小的,这就是“BLUE”(Best Linear Unbiased Estimator)。