线性回归原理及最小二乘法
线性回归模型
前面我们讲过曲线拟合问题。曲线拟合问题的特点是,根据得到的若干有关变量的一组数据,寻找因变量与(一个或几个)自变量之间的一个函数,使这个函数对那组数据拟合得最好。通常,函数的形式可以由经验、先验知识或对数据的直观观察决定,要作的工作是由数据用最小二乘法计算函数中的待定系数。从计算的角度看,问题似乎已经完全解决了,还有进一步研究的必要吗?
从数理统计的观点看,这里涉及的都是随机变量,我们根据一个样本计算出的那些系数,只是它们的一个(点)估计,应该对它们作区间估计或假设检验,如果置信区间太大,甚至包含了零点,那么系数的估计值是没有多大意义的。另外也可以用方差分析
方法对模型的误差进行分析,对拟合的优劣给出评价。简单地说,回归分析就是对拟合问题作的统计分析。
具体地说,回归分析在一组数据的基础上研究这样几个问题:
(i)建立因变量 y 与自变量x1,x2,…,xmx1,x2,…,xm x_1,x_2,…,x_mx1,x2,…,xm 之间的回归模型(经验公式);
(ii)对回归模型的可信度进行检验;
(iii)判断每个自变量 xi(i=1,2,…,m)xi(i=1,2,…,m) xi(i=1,2,…,m)xi(i=1,2,…,m)对 y 的影响是否显著;
(iv)诊断回归模型是否适合这组数据;
(v)利用回归模型对 y 进行预报或控制。
一元线性回归
模型
一元线性回归的模型为
y=β0+β1x+εy=β0+β1x+ε y = β_0+β _1x + εy=β0+β1x+ε ,
式中, β0,β1β0,β1 β_0 ,β _1β0,β1 为回归系数, ε 是随机误差项,总是假设总是假设 ε−N(0,σ2)ε−N(0,σ2) ε- N (0,σ^2)ε−N(0,σ2),则随机变量y−N(β0+β1x,σ2)y−N(β0+β1x,σ2) y-N(β_0+β _1x,σ^2)y−N(β0+β1x,σ2)
若对 y 和 x 分别进行了n 次独立观测,得到以下 n 对观测值
(yi,xi),i=1,2,…n(yi,xi),i=1,2,…n (y_i,x_i),i=1,2,…n(yi,xi),i=1,2,…n
(2) 这n 对观测值之间的关系符合模型
yi=β0+β1x+εi,i=1,2,…nyi=β0+β1x+εi,i=1,2,…n y_i = β_0+β _1x + ε_i,i=1,2,…nyi=β0+β1x+εi,i=1,2,…n(3)
这里,xixi x_ixi是自变量在第i 次观测时的取值,它是一个非随机变量,并且没有测量误差。
对应于xi,yixi,yi x_i,y_ixi,yi是一个随机变量,它的随机性是由 εiεi ε_iεi造成的.εi−N(0,σ2)εi−N(0,σ2) ε_i- N (0,σ^2)εi−N(0,σ2)对于不同
的观测,当i ≠ j 时,εiεi ε_iεi,与 εjεj ε_jεj 是相互独立的。
最小二乘估计方法