本文深入探讨了线性回归，包括一元和多元线性回归的定义与模型，最小二乘法的几何和概率解释，以及如何处理非线性问题。同时，介绍了广义线性模型和其在处理非线性映射中的应用。
一元线性回归
-
一元线性回归即单变量线性回归
有x,y两个变量，用一条直线来拟合他们之间的关系，每一个观测值 ( x n , y n ) (x_n,y_n) (xn,yn)不一定都落在直线上，观测值到直线的距离既为回归误差：
e n = y n − ( w x n + b ) e_n=y_n-(wx_n+b) en=yn−(wxn+b)
拟合直线要求回归误差最小。均方和误差：
∑ n = 1 N e n 2 = ∑ n = 1 N ( y n − w x n − b ) 2 \sum_{n=1}^N{e_n^2}=\sum_{n=1}^N{(y_n-wx_n-b)^2} n=1∑Nen2=n=1∑N(yn−wxn−b)2 -
最小二乘法(Least Square Method)
使用均方和误差作为代价函数的线性回归即为最小二乘法：
( w ∗ , b ∗ ) = arg min w , b ∑ n − 1 N ( y n − w x n − b ) 2 (w^*,b^*)=\arg\min_{w,b}\sum_{n-1}^N{(y_n-wx_n-b)}^2 (w∗,b∗)=argw,bminn−1∑N(yn−wxn−b)2
多元线性回归
-
因变量有多个影响因素，即有多个特征会影响到y，且这些特征关于y仍是线性的：
y ≈ x 1 w 1 + x 2 w 2 + . . . + x D w D + b y\approx x_1w_1+x_2w_2+...+x_Dw_D+b y≈x1w1+x2w2+...+xDwD+b
既为多元线性回归。 -
多元线性回归的一般形式：
[ y 1 y 2 ⋮ y N ] ≈ [ x 1 , 1 x 1 , 2 … x 1 , D 1 x 2 , 1 x 2 , 2 … x 2 , D 1 ⋮ ⋮ ⋱ ⋮ ⋮ x N , 1 x N , 2 … x N , D 1 ] [ w 1 w 2 ⋮ w D b ] y ≈ X w \begin{gathered}\begin{bmatrix}y_1\\y_2\\\vdots\\y_N\end{bmatrix}\approx\begin{bmatrix}x_{1,1}&x_{1,2}&\dots&x_{1,D}&1\\x_{2,1}&x_{2,2}&\dots&x_{2,D}&1\\\vdots&\vdots&\ddots&\vdots&\vdots\\x_{N,1}&x_{N,2}&\dots&x_{N,D}&1\end{bmatrix}\begin{bmatrix}w_1\\w_2\\\vdots\\w_D\\b\end{bmatrix}\\y\approx Xw\end{gathered} ⎣⎢⎢⎢⎡y1y2⋮yN⎦⎥⎥⎥⎤
最低0.47元/天 解锁文章
338
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
