# 机器学习案例系列教程——损失函数总结

## 注意区分样本损失，和样本集的损失

loss(y,f(x)) l o s s ( y , f ( x ) )

1ni=1nloss(y,f(x)) 1 n ∑ i = 1 n l o s s ( y , f ( x ) )

min1Ni=1NL(yi,f(xi)) m i n 1 N ∑ i = 1 N L ( y i , f ( x i ) )

min1Ni=1NL(yi,f(xi))+λJ(f) m i n 1 N ∑ i = 1 N L ( y i , f ( x i ) ) + λ J ( f )

## 0-1损失函数

L(Y,f(X))={1,Yf(X)0,Y=f(X) L ( Y , f ( X ) ) = { 1 , Y ≠ f ( X ) 0 , Y = f ( X )

## 对数损失函数(logarithmic loss function)

L(Y,P(Y|X))=logP(Y|X) L ( Y , P ( Y | X ) ) = − l o g P ( Y | X )

J(w,b)=1mD(yi,pi) J ( w , b ) = − 1 m ∑ D ( y i , p i )

J(w,b)=1mi=1m[y(i)logy^(i)+(1y(i))log(1y^(i))] J ( w , b ) = − 1 m ∑ i = 1 m [ y ( i ) l o g y ^ ( i ) + ( 1 − y ( i ) ) l o g ( 1 − y ^ ( i ) ) ]

L(Y,f(x))=j=1nYjlogpj L ( Y , f ( x ) ) = − ∑ j = 1 n Y j l o g p j

## 平方损失函数（最小二乘法, Ordinary Least Squares ）

L(Y,f(X))=(Yf(X))2 L ( Y , f ( X ) ) = ( Y − f ( X ) ) 2

## 绝对值损失函数(absolute loss function)

L(Y,f(X))=|Yf(X)| L ( Y , f ( X ) ) = | Y − f ( X ) |

## 指数损失函数

L(y,f(x))=exp[yf(x)] L ( y , f ( x ) ) = e x p [ − y f ( x ) ]

L(y,f(x))=1ni=1nexp[yif(xi)] L ( y , f ( x ) ) = 1 n ∑ i = 1 n e x p [ − y i f ( x i ) ]

## Hinge损失函数（SVM）

minL(w)=1ni=1nH(yif(xi,w)),whereH(t)={t+10t<1t1 m i n L ( w ) = 1 n ∑ i = 1 n H ( y i f ( x i , w ) ) , w h e r e H ( t ) = { − t + 1 t < 1 0 t ≥ 1

## 感知机损失函数（L1 margin cost）

minL(w)=1ni=1nH(yif(xi,w)),whereH(t)={t0t<0t0 m i n L ( w ) = 1 n ∑ i = 1 n H ( y i f ( x i , w ) ) , w h e r e H ( t ) = { − t t < 0 0 t ≥ 0

## 决策树损失函数：

Ht(T)=k=1KNtkNtlogNtkNt H t ( T ) = − ∑ k = 1 K N t k N t l o g N t k N t

Cα(T)=t=1TNtHt(T)+αT C α ( T ) = ∑ t = 1 ∣ T ∣ N t H t ( T ) + α ∣ T ∣

## L1和L2正则化

L1正则化假设了模型的先验概率分布服从拉普拉斯分布；L2正则化假设了模型的先验概率分布服从高斯分布。

06-21 636
06-07 6606
04-08 2325
02-19 67
03-01 73
05-04 6980
03-04 7329
05-31 4794
02-19 1951
02-20 91
06-09 739
12-28 451