一元线性回归分析

最小二乘法求直线回归方程

假定已经给离散点配置了一条直线y'=a+bx,则y'i是相应于xi的回归直线的理论值,而yi则是相应于xi的测试值.测称vi=yi-y'i为回归直线的残差,vi实际上就是yi这一点相对于回归直线的误差.这样把求最佳值的原理用于求解回归直线方程,就能得到最佳配置的直线.

求解最佳回归方程的原则是:由这条直线的方程与全部测定值所计算的残差平方和为最小,即:

若有N对测定值(xi,yi),i=1,2,....N,则可以列出N个残差方程.将每个方程的两边取平方,然后左右两边分别取总和,即得到求解的最佳回归方程的条件,从概率分布的角度来说,直线上个点出现的概率是最大的,这些嗲所代表的数值即为回归的最佳值或最可信赖值.

为了满足上式的条件,根据微分学的知识知道,必须使上式左边对a和b的偏微分分别为0,即:,微分后得到