- 损失函数:度量模型预测值与真实值之间的差异
- 对于回归问题:令残差
r=f(X)−y
r
=
f
(
X
)
−
y
- L2损失: L2(r)=12r2 L 2 ( r ) = 1 2 r 2
- L1损失: L1(r)=|r| L 1 ( r ) = | r |
- Huber损失:
Lδ(r)={12r2,δ|r|−12δ2,if |r|<=δ if |r|>=δ
L
δ
(
r
)
=
{
1
2
r
2
,
if
|
r
|
<=
δ
δ
|
r
|
−
1
2
δ
2
,
if
|
r
|
>=
δ
- 对于分类问题:
- 0-1损失: l0/1(y,f(X))={10 yf(X)<0 otherewise l 0 / 1 ( y , f ( X ) ) = { 1 y f ( X ) < 0 0 o t h e r e w i s e
- Logistic损失:亦称负log似然损失/logloss
-
llog(y,f(x))=log(1+exp(−yf(x))) l l o g ( y , f ( x ) ) = l o g ( 1 + e x p ( − y f ( x ) ) )
- 指数损失:
- 合页损失:
常见的损失函数的类型
最新推荐文章于 2024-08-18 17:27:41 发布
本文探讨了损失函数在衡量模型预测效果中的作用,包括回归问题中的L2损失、L1损失和Huber损失,以及分类问题中的0-1损失、Logistic损失和指数损失,帮助理解各类损失函数如何刻画预测值与真实值的差异。
摘要由CSDN通过智能技术生成