本文详细介绍了机器学习中常见的几种损失函数，包括平方差损失、绝对值损失、指数损失、对数似然损失、hinge损失和0-1损失，并对比了它们的特性。特别指出，0-1损失函数虽然直观但不便于优化，而hinge损失与SVM紧密相关。在选择损失函数时，应考虑其平滑性、可求导性和鲁棒性等因素。
1.常用损失函数公式
平方差损失
L ( y , f ( x ; θ ) ) = ( y − f ( x ; θ ) ) 2 L(y,f(x;\theta))=(y-f(x; \theta))^2 L(y,f(x;θ))=(y−f(x;θ))2
绝对值损失
L ( y , f ( x ; θ ) ) = ∣ ∣ y − f ( x ; θ ) ∣ ∣ L(y,f(x;\theta))=||y-f(x; \theta)|| L(y,f(x;θ))=∣∣y−f(x;θ)∣∣
指数损失
L ( y , f ( x , θ ) ) = e − y f ( x ; θ ) L(y,f(x,\theta))=e^{-yf(x;\theta)} L(y,f(x,θ))=e−yf(x;θ)
log-likelihood （对数似然）
K分类问题：(两种写法）
log-likelihood表达的是已知样本X在分类Y的情况下，使概率P(Y|X)达到最大值,每种样本属于真实标记的概率越大越好
L ( y , p ( Y = y ∣ x ; θ ) ) = − log p ( y ∣ x ; θ ) L(y,p(Y=y|x;\theta))=-\log_{ }p(y|x;\theta) L(y
最低0.47元/天 解锁文章
扫一扫
293
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
