多元回归求解 机器学习_机器学习算法Review之回归

回归

1)多元线性回归

(1)模型建立

多元线性回归讨论的的是变量y与非随机变量x1……xm之间的关系，假设他们具有线性关系，于是有模型：

y =b0 + b1x1 + …… + bmxm+ e

这里的e~N(0，a2)，b0，……，bn，a2都是未知数。上式矩阵表达式为：

y =xb + e

对于一组样本(x00……x0m，y0)……(xn0……xnm，yn)观测值，这时对每个观测值有：

yi = b0 + b1xi1 + …… + bmxim+ ei   (i=0，……n)

(2)模型求解

模型求解过程就是完成对回归模型的未知参数的估计，常常采用最小二乘法，即寻找b的估计b~满足下面的条件：

Σni=1(yi-Σmj=0xijb~j)2 = minΣni=1(yi-Σmj=0xijbj)2

或写成矩阵表达式：

||y-xb~||2= min||y-xb||2

解得b的估计为：

b~=(xTx)-1xTy

a2的估计为：

a~2=(1/(n-m-1))[yTy-b~T(xTy)]

(3)回归系数及回归方程的显著性检验

1.回归系数的显著性检验

所谓回归系数的显著性检验，就是检验假设H0:bj=0H1:bj!=0(j=1，……，m)。在H0