摘自:http://zyk.thss.tsinghua.edu.cn/92/chapter3/section10/point3/h0310030003.htm
一元线性回归中未知参数的最小二乘估计
如果变量y对x的回归方程的形式为y=a+bx,又如何根据样本数据去寻求未知参数a与b的估计值和,而使回归直线方程与所有的观测点(xi,yi)(i=1,2,…,n)拟合得最好.
对任一给定的xi,yi的估计值为:
(i=1,2,…,n)
这些估计值同实际观测值yi之间的离差(或随机误差)为:
.
于是,离差平方和
定量地描述了直线与所有散点(xi,yi)(i=1,2,…,n)的拟合程度.Q的值随着a和b的不同而变化,它是a和b的二元函数,要找一条与这n个散点拟合最好的直线,就是找出使得Q达到最小值的和,即使
.
我们可以利用微积分中的极值求法来求得和.
经整理后可得方程组:
解上述方程组得到a,b的估计值和.
其中 , ,
,
,
另记 .
可以证明, 、确能使离差平方和Q达到最小.用这种方法求出的估计值、称为a、b的最小二乘估计值.
注.在计算回归直线方程时,并不需要Lyy的值,但在进一步分析中经常要用到,因此顺便计算出来.
回归分析时,一般计算量较大.为了减少计算量,可以进行适当的变量替换,基本替换办法如下:
可令: ,
则 , ,
,
,
.