盘点 深度学习的那些loss

盘点 深度学习的那些loss

A loss function is a part of a cost function which is a type of an objective function

  • 0-1损失函数
    L ( Y , f ( X ) ) = { 1 , Y ≠ f ( X ) 0 , y = f ( X ) L(Y,f(X))=\begin{cases}1,Y\ne f(X)\\0,y=f(X)\end{cases} L(Y,f(X))={ 1,Y=f(X)0,y=f(X)

  • 绝对值损失函数
    L ( Y , f ( X ) ) = ∣ Y − F ( X ) ∣ L(Y,f(X))=|Y-F(X)| L(Y,f(X))=YF(X)

  • 均方差损失(Mean Squared Error Loss)
    J M S E = 1 N Σ i = 1 N ( y i − y ^ i ) 2 J_{MSE}=\frac{1}{N}\Sigma^N_{i=1}(y_i-\hat{y}_i)^2 JMSE=N1Σi=1N(yiy^i)2
    在模型输出与真实值的误差服从高斯分布的假设下,最小化均方差损失函数与极大似然估计本质是一致的,最大化对数似然:
    L L ( x , y ) = − N 2 l o g 2 π − 1 2 Σ i = 1 N ( y i − y ^ i ) 2 LL(x, y)=-\frac{N}{2}log2\pi-\frac{1}{2}\Sigma^N_{i=1}(y_i-\hat{y}_i)^2 LL(x,y)=2Nlog2π21Σi=1N(yiy^i)2

  • 平均绝对误差损失(Mean Absolute Error Loss)
    J M A E = 1 N Σ i = 1 N ∣ y i − y ^ i ∣ J_{MAE}=\frac{1}{N}\Sigma^N_{i=1}|y_i-\hat{y}_i| JMAE=N1Σi=1Nyiy^i
    是假设模型预测与真实值之间的误差服从拉普拉斯分布(μ,b=1),再推导负对数似然可以得到。对异常点更加鲁棒。

  • Huber Loss(Smooth Mean Absolute Error Loss)

    是将MSE与MAE结合起来的损失函数,在误差接近0时使用MSE,较大时候使用MAE:
    J h u b e r = 1 N Σ i = 1 N ∣ ∣ ∣ y i − y ^ i ∣ ≤ δ ( y i − y ^ i ) 2 2 + ∣ ∣ ∣ y i − y ^ i ∣ > δ ( δ ∣ y i − y i ^ ∣ − 1 2 δ 2 ) J_{huber}=\frac{1}{N}\Sigma^N_{i=1}||_{|y_i-\hat{y}_i|\le\delta}\frac{(y_i-\hat{y}_i)^2}{2}+||_{|y_i-\hat{y}_i|\gt\delta}(\delta|y_i-\hat{y_i}|-\frac{1}{2}\delta^2) Jhuber=N1Σi=1Nyi

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值