(一) L1-Loss、MAE、平均绝对误差
误差函数
L
(
x
)
=
∑
i
∣
x
−
s
i
∣
L(x) = \sum_i |x-s_i|
L(x)=i∑∣x−si∣其中
x
x
x为估计值,
s
i
s_i
si为样本值
对
x
x
x求导找驻点
d
L
d
x
=
∑
i
s
g
n
(
x
−
s
i
)
=
0
(
1
)
\frac{\mathrm dL}{\mathrm dx}=\sum_i sgn(x-s_i)=0 \quad\quad\quad (1)
dxdL=i∑sgn(x−si)=0(1)其中
s
g
n
sgn
sgn为符号函数:
s
g
n
(
x
)
=
{
+
1
,
x
>
0
0
,
x
=
0
−
1
,
x
<
0
sgn(x) = \left\{ \begin{array}{lr} +1, & x\gt 0 \\ 0, & x = 0 \\ -1, & x\lt 0\\ \end{array} \right.
sgn(x)=⎩⎨⎧+1,0,−1,x>0x=0x<0
所以要使得(1)式成立,则估计值
x
x
x取所有样本的中位数即可
(二) L2-Loss、MSE、均方误差
误差函数
L
(
x
)
=
1
2
∑
i
=
1
n
∥
x
−
s
i
∥
2
2
=
1
2
∑
i
=
1
n
(
x
−
s
i
)
2
L(x) = \frac{1}{2}\sum_{i=1}^n \|x-s_i\|_2^2=\frac{1}{2}\sum_{i=1}^n (x-s_i)^2
L(x)=21i=1∑n∥x−si∥22=21i=1∑n(x−si)2其中
x
x
x为估计值,
s
i
s_i
si为样本值
对
x
x
x求导找驻点
d
L
d
x
=
∑
i
=
1
n
(
x
−
s
i
)
=
0
(
2
)
\frac{\mathrm dL}{\mathrm dx}=\sum_{i=1}^n (x-s_i)=0 \quad\quad\quad (2)
dxdL=i=1∑n(x−si)=0(2)则
n
x
−
∑
i
=
1
n
s
i
=
0
x
=
1
n
∑
i
=
1
n
s
i
nx-\sum_{i=1}^n s_i=0 \\ x= \frac{1}{n}\sum_{i=1}^n s_i
nx−i=1∑nsi=0x=n1i=1∑nsi
即,要使得(2)式成立,则估计值
x
x
x取所有样本的算术平均值即可