七、机器学习基础知识：损失函数

损失函数的定义

损失函数（Loss Function）或代价函数（Cost Function）被定义为是一种将随机事件或与该事件有关的随机变量取值映射为某个非负实数来表示该随机事件存在的“风险”或“损失的函数”。这一函数在大多数时候都与优化问题相联系起来，例如在机器学习算法中，损失函数被用于模型的参数估计；在控制论中，损失函数被用作最优控制理论。从随机事件的类型来看，可以将损失函数应用到两类问题上，它们分别为回归问题与分类问题。

1、回归问题上的损失函数

回归问题机器学习三大基本模型中的重要一环，它主要通过建立模型来分析模型的输入变量与输出变量之间的关系，这个过程一般是通过模型对输入变量的计算输出一个具体的数值。回归问题主要需对预测值与真实值进行分析，因此它的损失函数中的变量为模型的预测值与实际的真实值。回归问题大致上可分为两种损失函数，这两种损失函数的公式分别如下：

在上面两个公式中，w代表实际的权值，y_t为真实值，y_p为模型的计算输出。上述两种计算方式十分相似，均为通过最小化损失值来对参数进行估计，但在实际的应用中，这两种计算方式有很大的区别。前一个公式中对真实值与模型计算输出之间的差值进行了平方输出，这一方式使得这两者的差值得到了放大&#