线性回归模型
找到一条连续的线(线性方程),能够最大程度的拟合所有的点
- 如果点是二维,那么就只有 y , x 1 y,x_1 y,x1
- 如果是三维,那么有 y , x 1 , x 2 y,x_1,x_2 y,x1,x2
- 以此类推
- 也可以让
x
1
=
w
2
=
w
M
x_1=w_2=w_M
x1=w2=wM。即,并不严格限制方程中的
x
x
x与数据点的维度数量对应。
其中Basis function可以是多项式,高斯函数,Sigmoid函数等
只要找到一组参数(也就是线性方程每一项上的系数,即 w M w_M wM)能让损失函数的值最小,那这一组参数就能最好的拟合当前的训练数据
最大程度拟合
使损失函数最小
损失函数
所有点的输出和预期输出相减的平方和(系数只是为了后面方便计算)
如何找到损失函数最小值
如果损失函数为凸函数,那么根据凸函数的定义可知,任何局部最小值都是整个凸函数的最小值。
- 将所有点代入函数,得到最终的损失函数方程。
- 对损失函数各轴求偏导数,使偏导数为0,得到方程组
- 对方程组求解,得到所有系数 w M w_M wM
- 将系数代入原方程,得到最佳拟合方程。
计算公式
- 选择basis function ϕ ( x ) \phi(x) ϕ(x)
- 选择basis function 的数量 n
- 计算
w
w
w,公式如下:
-
Φ
\Phi
Φ表示
ϕ
i
(
x
)
\phi_i(x)
ϕi(x)的值构成的矩阵