线性模型

一、一般线性回归

基本形式：$f(x)=w_1x_1+w_2x_2+...+w_dx_d+b$，$d$个自变量，1个因变量。
用向量形式写成：$f(x)=w^Tx+b$，其中$w=(w_1;w_2;...;w_d)$.
用最小二乘法对$w$和$b$进行估计。
把$w$和$b$吸收入向量形式$\hat w=(w;b)$ 于是$f(x)=\hat w X$，$f(x)$可写成向量形式$y=(y_1;y_2;\cdots;y_m)$. $y=\hat w X$

X=⎛⎝⎜⎜⎜⎜x11x21⋮xm1x12⋯x1dx22⋯x2d⋮xm2⋯xmd