机器学习的损失函数 loss function
@(deepLearning)
loss function:
- 作为优化的目标的函数,又称为
代价函数
(cost function)。
L=∑i=0n−1ℓ(yi,yi^) L = ∑ i = 0 n − 1 ℓ ( y i , y i ^ )
1.常见的损失函数
- 1)交叉熵(cross entropy):如在逻辑回归LR。
ℓ(yi,yi^)=−yi⋅logyi^−(1−yi)⋅log(1−yi^),yi∈{0,1} ℓ ( y i , y i ^ ) = − y i ⋅ l o g y i ^ − ( 1 − y i ) ⋅ l o g ( 1 − y i ^ ) , y i ∈ { 0 , 1 }- 2)平方误差(square loss):常用于回归。
ℓ(yi,yi^)=(yi−yi^)2 ℓ ( y i , y i ^ ) = ( y i − y i ^ ) 2- 3)指数误差(exponential loss):常用于boosting算法。
ℓ(yi,yi^)=e−yi⋅yi^,yi∈{−1,1} ℓ ( y i , y i ^ ) = e − y i ⋅ y i ^ , y i ∈ { − 1 , 1 }- 4)逻辑误差(logistic loss):
ℓ(yi,yi^)=log(1+e−yi⋅yi^) ℓ ( y i , y i ^ ) = l o g ( 1 + e − y i ⋅ y i ^ )- 5)正则项(regularization):
L=∑i=0n−1ℓ(yi,yi^)+λ⋅R(ω) L = ∑ i = 0 n − 1 ℓ ( y i , y i ^ ) + λ ⋅ R ( ω )
- L1正则化
- L2正则化