L1-Loss (MAE) 中位数,L2-Loss (MSE) 算术平均值

(一) L1-Loss、MAE、平均绝对误差

误差函数
L ( x ) = ∑ i ∣ x − s i ∣ L(x) = \sum_i |x-s_i| L(x)=ixsi其中 x x x为估计值, s i s_i si为样本值
x x x求导找驻点
d L d x = ∑ i s g n ( x − s i ) = 0 ( 1 ) \frac{\mathrm dL}{\mathrm dx}=\sum_i sgn(x-s_i)=0 \quad\quad\quad (1) dxdL=isgn(xsi)=0(1)其中 s g n sgn sgn为符号函数:
s g n ( x ) = { + 1 , x > 0 0 , x = 0 − 1 , x < 0 sgn(x) = \left\{ \begin{array}{lr} +1, & x\gt 0 \\ 0, & x = 0 \\ -1, & x\lt 0\\ \end{array} \right. sgn(x)=+1,0,1,x>0x=0x<0
所以要使得(1)式成立,则估计值 x x x取所有样本的中位数即可

(二) L2-Loss、MSE、均方误差

误差函数
L ( x ) = 1 2 ∑ i = 1 n ∥ x − s i ∥ 2 2 = 1 2 ∑ i = 1 n ( x − s i ) 2 L(x) = \frac{1}{2}\sum_{i=1}^n \|x-s_i\|_2^2=\frac{1}{2}\sum_{i=1}^n (x-s_i)^2 L(x)=21i=1nxsi22=21i=1n(xsi)2其中 x x x为估计值, s i s_i si为样本值
x x x求导找驻点
d L d x = ∑ i = 1 n ( x − s i ) = 0 ( 2 ) \frac{\mathrm dL}{\mathrm dx}=\sum_{i=1}^n (x-s_i)=0 \quad\quad\quad (2) dxdL=i=1n(xsi)=0(2)
n x − ∑ i = 1 n s i = 0 x = 1 n ∑ i = 1 n s i nx-\sum_{i=1}^n s_i=0 \\ x= \frac{1}{n}\sum_{i=1}^n s_i nxi=1nsi=0x=n1i=1nsi
即,要使得(2)式成立,则估计值 x x x取所有样本的算术平均值即可

  • 4
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值