YB菜菜的机器学习自学之路(二)——简单了解代价函数
前提说明
依然以一元一次函数为例子展开说明。
1、误差估计-最小二乘法
图1
从(一)中我们知道,我们通过一个点一个点的调整得到最终的w,从而得到最终预期函数
y
=
w
x
y=wx
y=wx。
其本质就是找到这么一条拟合曲线,使得所有观测点到达这个曲线的差值最小,如图1所示。
最直观的表现为:
e
i
=
y
i
−
y
p
r
e
e_{i}=y_{i}-y_{pre}
ei=yi−ypre, ——>
e
=
1
m
∑
i
=
1
i
=
m
e
i
(
1
)
e=\frac{1}{m}\sum_{i=1}^{i=m}e_{i} (1)
e=m1∑i=1i=mei(1)
但是,由于直接做差得到的误差
e
e
e存在正负,会导致明明差距很大,但求和后的误差
e
e
e值非常小。
为了解决这个问题,我们对误差进行平方,即:
e
i
=
(
y
i
−
y
p
r
e
)
2
=
(
y
i
−
w
∗
x
i
)
2
e_{i}=(y_{i}-y_{pre})^{2}=(y_{i}-w*x_{i})^{2}
ei=(yi−ypre)2=(yi−w∗xi)2——>
e
=
1
m
∑
i
=
1
i
=
m
(
y
i
−
w
∗
x
i
)
2
(
2
)
e=\frac{1}{m}\sum_{i=1}^{i=m}(y_{i}-w*x_{i})^{2} (2)
e=m1∑i=1i=m(yi−w∗xi)2(2)
自此,我们可以通过误差和最小的方式来评估参数
w
w
w的好坏,也可以评估该拟合曲线
y
=
w
∗
x
y=w*x
y=w∗x的准确度。而误差又是平方和,因此这种方式被称为“最小二乘”。
2.代价函数
从1中我们可以知道,期望函数准不准,取决于拟合后的曲线距离每个观察点的误差平方和是否最小。
我们将(2)式展开,可以得到一个误差e与参数w相关的函数:
e
=
1
m
[
(
x
1
2
+
x
2
2
+
.
.
.
+
x
i
2
)
w
2
+
2
(
x
1
∗
y
1
+
x
2
∗
y
2
+
.
.
.
+
x
i
∗
y
i
)
w
+
(
y
1
2
+
y
2
2
+
.
.
.
+
y
i
2
)
]
(
3
)
e=\frac{1}{m}[(x_{1}^{2}+x_{2}^{2}+...+x_{i}^{2})w^{2}+2(x_{1}*y_{1}+x_{2}*y_{2}+...+x_{i}*y_{i})w+ (y_{1}^{2}+y_{2}^{2}+...+y_{i}^{2})] (3)
e=m1[(x12+x22+...+xi2)w2+2(x1∗y1+x2∗y2+...+xi∗yi)w+(y12+y22+...+yi2)](3)
如果有一个
w
m
i
n
w_{min}
wmin,使得e最,那么此时得到的得到的期望函数
y
=
w
m
i
n
x
y=w_{min}x
y=wminx将是最准确的。
由此,我们可以进行一个区分和对比:
在先前(一)中,我们是给出一个期望函数 y p r e = w i − 1 x i y_{pre}=w_{i-1}x_{i} ypre=wi−1xi,通过不断的输入观测数据 x i x_{i} xi,得到结果 y p r e y_{pre} ypre,反复迭代。在这个过程中,自变量是 x x x,因变量是 y y y。
而现在,当我们知道公式(3)后,我们就可以根据现有的观测数据来来评估期望函数,即,直接求解较为简单的公式(3)的最小值,实现期望函数参数的精确获取。在这里,原来的自变量x,因变量y变成了已知数,而权重 w w w变成自变量,误差 e e e变成了因变量。而有e和w组成的这个函数,又叫代价函数。代价函数中 w w w选择不同值,表示,期望函数根据观测点拟合的精度,当 w w w的值,让代价函数获得最小值,那么此时我们将 w w w提取出来,作为预测函数的权重值,此时得到的预测函数将是最好的拟合曲线。
总的来说(以一元一次函数为例),函数 f ( s ) : f(s): f(s): y = w x y=wx y=wx是我们要最终获得的预测问题的函数。 w w w是未知参数, x x x, y y y分别是函数的输入和输出。 当我们研究代价函数时,x和y都是通过观测统计而来的已知数,成为了代价函数的已知参数部分。因此代价函数是我们用来分析和改进最终预测问题函数的辅助函数。