盘点 深度学习的那些loss
A loss function is a part of a cost function which is a type of an objective function
-
0-1损失函数
L ( Y , f ( X ) ) = { 1 , Y ≠ f ( X ) 0 , y = f ( X ) L(Y,f(X))=\begin{cases}1,Y\ne f(X)\\0,y=f(X)\end{cases} L(Y,f(X))={ 1,Y=f(X)0,y=f(X) -
绝对值损失函数
L ( Y , f ( X ) ) = ∣ Y − F ( X ) ∣ L(Y,f(X))=|Y-F(X)| L(Y,f(X))=∣Y−F(X)∣ -
均方差损失(Mean Squared Error Loss)
J M S E = 1 N Σ i = 1 N ( y i − y ^ i ) 2 J_{MSE}=\frac{1}{N}\Sigma^N_{i=1}(y_i-\hat{y}_i)^2 JMSE=N1Σi=1N(yi−y^i)2
在模型输出与真实值的误差服从高斯分布的假设下,最小化均方差损失函数与极大似然估计本质是一致的,最大化对数似然:
L L ( x , y ) = − N 2 l o g 2 π − 1 2 Σ i = 1 N ( y i − y ^ i ) 2 LL(x, y)=-\frac{N}{2}log2\pi-\frac{1}{2}\Sigma^N_{i=1}(y_i-\hat{y}_i)^2 LL(x,y)=−2Nlog2π−21Σi=1N(yi−y^i)2 -
平均绝对误差损失(Mean Absolute Error Loss)
J M A E = 1 N Σ i = 1 N ∣ y i − y ^ i ∣ J_{MAE}=\frac{1}{N}\Sigma^N_{i=1}|y_i-\hat{y}_i| JMAE=N1Σi=1N∣yi−y^i∣
是假设模型预测与真实值之间的误差服从拉普拉斯分布(μ,b=1),再推导负对数似然可以得到。对异常点更加鲁棒。 -
Huber Loss(Smooth Mean Absolute Error Loss)
是将MSE与MAE结合起来的损失函数,在误差接近0时使用MSE,较大时候使用MAE:
J h u b e r = 1 N Σ i = 1 N ∣ ∣ ∣ y i − y ^ i ∣ ≤ δ ( y i − y ^ i ) 2 2 + ∣ ∣ ∣ y i − y ^ i ∣ > δ ( δ ∣ y i − y i ^ ∣ − 1 2 δ 2 ) J_{huber}=\frac{1}{N}\Sigma^N_{i=1}||_{|y_i-\hat{y}_i|\le\delta}\frac{(y_i-\hat{y}_i)^2}{2}+||_{|y_i-\hat{y}_i|\gt\delta}(\delta|y_i-\hat{y_i}|-\frac{1}{2}\delta^2) Jhuber=N1Σi=1N∣∣∣yi−