最小二乘法的无偏性

最小二乘法的介绍，可以参考 最小二乘法的多角度理解 这篇文章。

只有两个参数的情况下：

已知X=，Y=两个向量数据。我们假设Y中的元素与X中的元素满足线性关系

中间的步骤可以参考文章              最小二乘法的多角度理解

最后，二乘法的解是：

                                                       

                                                       

                                                            

、是获得的估计值，这两个估计值是无偏的。本文讨论这两个估计值的无偏性。

根据无偏定义，就是要求证明下面两个是成立的:

                                                         

                                                         

开始证明：

                                               

                                                          

                                                          

这个公式证明中，我们用到的是：

结论，这个很容易证明，留给大家自己证明吧。这个结论的意思就是，方差的期望还是方差本身，没有变。

上面的证明当中，由于分子,所以你会发现另外一个结果：

也就是说，当X与Y呈线性关系，那么，X,Y协方差的期望是其中一个方差乘以线性关系一次项系数。

现在证明了的无偏性，那么的无偏性就留待大家证明了。