机器学习：损失函数、代价函数、正则化

1. 定义

转载来自 几种常见的损失函数

损失函数（Loss Function)是用来评估模型好坏程度，即预测值f(x)与真实值的不一致程度，通常表示为L(Y, f(x))的一个非负的浮点数。比如你要做一个线性回归，你拟合出来的曲线不会和原始的数据分布是完全吻合（完全吻合的话，很可能会出现过拟合的情况），这个差距就是用损失函数来衡量。
那么损失函数的值越小，模型的鲁棒性也就越好，对新数据的预测能力也就越强

• 损失函数（Loss Function) ：直接作用于单个样本，用来表达样本的误差
• 风险函数（Risk function）：风险函数是损失函数的期望
• 代价函数（Cost Function）或者经验风险（Empirical Risk）：作用于整个训练集，是整个样本集的平均误差，对所有损失函数值的平均
• 目标函数（Object Function）或者结构风险函数 ：是我们最终要优化的函数，也就是代价函数+正则化函数（经验风险+结构风险）

2. 损失函数分类

转载来自
几种常见的损失函数