一元线性回归中未知参数的最小二乘估计

摘自：http://zyk.thss.tsinghua.edu.cn/92/chapter3/section10/point3/h0310030003.htm

一元线性回归中未知参数的最小二乘估计

 

如果变量y对x的回归方程的形式为y=a+bx，又如何根据样本数据去寻求未知参数a与b的估计值和，而使回归直线方程与所有的观测点(x_i,y_i)(i=1,2,…,n)拟合得最好．

对任一给定的x_i,y_i的估计值为:

       (i=1,2,…,n)

这些估计值同实际观测值y_i之间的离差(或随机误差)为:  

         .

于是,离差平方和

定量地描述了直线与所有散点(x_i,y_i)(i=1,2,…,n)的拟合程度．Q的值随着a和b的不同而变化，它是a和b的二元函数，要找一条与这n个散点拟合最好的直线，就是找出使得Q达到最小值的和，即使

               .

我们可以利用微积分中的极值求法来求得和．

   

       

经整理后可得方程组:

       

解上述方程组得到a,b的估计值和.

      

其中 , ,

    ,

    ,

另记 .

可以证明, 、确能使离差平方和Q达到最小.用这种方法求出的估计值、称为a、b的最小二乘估计值.

注．在计算回归直线方程时，并不需要L_yy的值，但在进一步分析中经常要用到,因此顺便计算出来．

回归分析时，一般计算量较大．为了减少计算量，可以进行适当的变量替换，基本替换办法如下：

可令: ,

则    ,  ,

        , 

        ,

       .