【总结】数据挖掘中常见的损失函数

Reference 机器学习（五）——常见损失函数

损失函数是用来估量模型的预测值f(X)与真实值Y的不一致程度。目的就是最小化损失函数，让f(X)与Y尽量接近。损失函数越小，模型越好。

0-1损失函数（0-1 loss function）

预测值和目标值不相等，那么为1，否则为0。

绝对值损失函数（absolute loss function）

常用于回归中。

平方损失函数(quadratic loss function)

常用于回归中，主要是最小二乘法（OLS）。

对数损失函数(logarithmic loss function) 或对数似然损失函数(log-likelihood loss function)

logistic回归的损失函数就是对数损失函数。

指数损失（exponential loss function）

常用于boosting算法。如AdaBoost，用于AdaBoost 集成学习算法中。

铰链损失函数（hinge loss function）

用于最大间隔（maximum-margin）分类，其中最有代表性的就是支持向量机（SVM）。
如在SVM中解决几何间隔最大化问题。

Y为目标值（-1或+1），f(X)是分类器输出的预测值，并不直接是类标签。其含义为，
当Y和f(X)的符号相同时（表示f(x)预测正确）并且|f(X)|≥1时，hinge loss为0；
当Y和f(X)的符号相反时，hinge loss随着f(X)的增大线性增大。

互熵损失函数（cross entropy loss，softmax loss function）

用于Logistic 回归与Softmax 分类中。
详见 交叉熵损失函数