机器学习常见代价函数

损失函数(Loss function)是定义在单个训练样本的损失/误差，也就是就算一个样本的误差，比如我们想要分类，就是预测的类别和实际类别的区别，是一个样本的哦，用L表示。

代价函数(Cost function)是定义在整个训练集整体的误差描述，也就是所有样本的误差的总和的平均，也就是损失函数的总和的平均，有没有这个平均其实不会影响最后的参数的求解结果。
 

• 分类问题：

交叉熵，折页损失函数（SVM）

• 回归：

均方误差（MSE）

• 对象检测或分割：

交叉比（IoU）

• 策略优化：

KL散度

• 词嵌入：

噪音对比估计（NCE）

• 词向量：

余弦相似度