score函数 机器学习_机器学习（一）：损失函数

优化算法

优化是应用数学的一个分支，也是机器学习的核心组成部分。实际上：

机器学习算法 = 模型表征 + 模型评估 + 优化算法

其中，优化算法起到的作用就是在模型表征空间中找到模型评估指标最好的模型。

不同的模型表征和模型评估通常使用着不同的优化算法。因此，为了利用优化算法来对模型进行优化，我们通常需要给出一个模型的好坏的评估指标。该指标由于与模型的参数息息相关，因此通常表述为关于模型参数的函数，称为损失函数，或者代价函数。

在机器学习中，损失函数、代价函数和目标函数有什么区别？
损失函数和代价函数是指同一个东西，即评估模型预测的结果和真实的结果的误差；而目标函数则是与优化算法相关的一个函数，它指导着我们该如何去优化我们的模型，分为经验风险最小化和结构风险最小化。

损失函数

损失函数是用来评价模型的预测值

和真实值

的不一致程度，通常使用