YB菜菜的机器学习自学之路（二）——简单了解代价函数

前提说明

依然以一元一次函数为例子展开说明。

1、误差估计-最小二乘法

图1

从（一）中我们知道，我们通过一个点一个点的调整得到最终的w，从而得到最终预期函数$y=wx$。
其本质就是找到这么一条拟合曲线，使得所有观测点到达这个曲线的差值最小，如图1所示。

最直观的表现为：$e_i=y_i-y_{pre}$, ——>$e=\frac{1}{m}{\sum }_{i=1}^{i=m}{e}_i（1）$
但是，由于直接做差得到的误差$e$存在正负，会导致明明差距很大，但求和后的误差$e$值非常小。

为了解决这个问题，我们对误差进行平方，即：
$e_i=(y_i-y_{pre}{)}^2=(y_i-w\ast x_i{)}^2$——>$e=\frac{1}{m}{\sum }_{i=1}^{i=m}(y_i-w\ast x_i{)}^2（2）$
自此，我们可以通过误差和最小的方式来评估参数$w$的好坏，也可以评估该拟合曲线$y=w\ast x$的准确度。而误差又是平方和，因此这种方式被称为“最小二乘”。

2.代价函数

从1中我们可以知道，期望函数准不准，取决于拟合后的曲线距离每个观察点的误差平方和是否最小。
我们将（2）式展开，可以得到一个误差e与参数w相关的函数：
$$e=\frac{1}{m}[(x_1^2+x_2^2+...+x_i^2)w^2+2(x_1\ast y_1+x_2\ast y_2+...+x_i\ast y_i)w+(y_1^2+y_2^2+...+y_i^2)](3)$$
如果有一个$w_{min}$，使得e最，那么此时得到的得到的期望函数$y=w_{min}x$将是最准确的。

由此，我们可以进行一个区分和对比：

在先前(一)中，我们是给出一个期望函数$y_{pre}=w_{i-1}{x}_i$，通过不断的输入观测数据$x_i$,得到结果$y_{pre}$，反复迭代。在这个过程中，自变量是$x$,因变量是$y$。

而现在，当我们知道公式（3）后，我们就可以根据现有的观测数据来来评估期望函数，即，直接求解较为简单的公式（3）的最小值，实现期望函数参数的精确获取。在这里，原来的自变量x，因变量y变成了已知数，而权重$w$变成自变量，误差$e$变成了因变量。而有e和w组成的这个函数，又叫代价函数。代价函数中$w$选择不同值，表示，期望函数根据观测点拟合的精度，当$w$的值，让代价函数获得最小值，那么此时我们将$w$提取出来，作为预测函数的权重值，此时得到的预测函数将是最好的拟合曲线。

总的来说(以一元一次函数为例)，函数$f(s):$$y=wx$是我们要最终获得的预测问题的函数。$w$是未知参数，$x$,$y$分别是函数的输入和输出。 当我们研究代价函数时，x和y都是通过观测统计而来的已知数，成为了代价函数的已知参数部分。因此代价函数是我们用来分析和改进最终预测问题函数的辅助函数。