Reference 机器学习(五)——常见损失函数
损失函数是用来估量模型的预测值f(X)与真实值Y的不一致程度。目的就是最小化损失函数,让f(X)与Y尽量接近。损失函数越小,模型越好。
0-1损失函数(0-1 loss function)
预测值和目标值不相等,那么为1,否则为0。
绝对值损失函数(absolute loss function)
常用于回归中。
平方损失函数(quadratic loss function)
常用于回归中,主要是最小二乘法(OLS)。
对数损失函数(logarithmic loss function) 或对数似然损失函数(log-likelihood loss function)
logistic回归的损失函数就是对数损失函数。
指数损失(exponential loss function)
常用于boosting算法。如AdaBoost,用于AdaBoost 集成学习算法中。
铰链损失函数(hinge loss function)
用于最大间隔(maximum-margin)分类,其中最有代表性的就是支持向量机(SVM)。
如在SVM中解决几何间隔最大化问题。
Y为目标值(-1或+1),f(X)是分类器输出的预测值,并不直接是类标签。其含义为,
当Y和f(X)的符号相同时(表示f(x)预测正确)并且|f(X)|≥1时,hinge loss为0;
当Y和f(X)的符号相反时,hinge loss随着f(X)的增大线性增大。
互熵损失函数(cross entropy loss,softmax loss function)
用于Logistic 回归与Softmax 分类中。
详见 交叉熵损失函数