在机器学习中, 令输入为
X
=
(
x
1
,
x
2
,
…
,
x
n
)
T
∈
R
n
×
m
\mathbf{X} = (\mathbf{x}_1, \mathbf{x}_2, \dots, \mathbf{x}_n)^{\mathrm{T}} \in \mathcal{R}^{n \times m}
X=(x1,x2,…,xn)T∈Rn×m, 输出 (标签) 为
Y
=
(
y
1
,
y
2
,
…
,
y
n
)
T
∈
R
n
\mathbf{Y} = (y_1, y_2, \dots, y_n)^{\mathrm{T}} \in \mathcal{R}^n
Y=(y1,y2,…,yn)T∈Rn. 回归器为一个函数
f
:
R
m
→
R
f: \mathcal{R}^m \rightarrow \mathcal{R}
f:Rm→R. 为了最小化 mean absolute error (MAE), 优化目标可以写为
min
∑
i
=
1
n
∣
y
i
−
f
(
x
i
)
∣
n
(1)
\min \frac{\sum_{i = 1}^n |y_i - f(\mathbf{x}_i)|}{n} \tag{1}
minn∑i=1n∣yi−f(xi)∣(1)
其实这里是否除以
n
n
n 都没有关系, 反正对不同回归器都是一样的.
为了最小化 root mean squared error (RMSE), 优化目标可以写为
min
∑
i
=
1
n
(
y
i
−
f
(
x
i
)
)
2
n
(2)
\min \sqrt{\frac{\sum_{i = 1}^n ( y_i - f(\mathbf{x}_i))^2}{n}} \tag{2}
minn∑i=1n(yi−f(xi))2(2)
这里根号要不要也没关系, 对不同回归器也是一样的.
注: 如何增加正则项, 避免过拟合, 在此不作讨论.
如果我们去掉累加操作、除以
n
n
n 操作和取根号操作, 上面两式所使用的函数 (称为 loss function) 可改写为
f
1
(
y
i
,
f
(
x
i
)
)
=
∣
y
i
−
f
(
x
i
)
∣
(3)
f_1(y_i, f(\mathbf{x}_i)) = |y_i - f(\mathbf{x}_i)| \tag{3}
f1(yi,f(xi))=∣yi−f(xi)∣(3)
和
f
2
(
y
i
,
f
(
x
i
)
)
=
(
y
i
−
f
(
x
i
)
)
2
(4)
f_2(y_i, f(\mathbf{x}_i)) = (y_i - f(\mathbf{x}_i))^2 \tag{4}
f2(yi,f(xi))=(yi−f(xi))2(4)
进一步, 它们使用的函数分别为
f
3
(
v
)
=
∣
v
∣
(5)
f_3(v) = |v| \tag{5}
f3(v)=∣v∣(5)
和
f
4
(
v
)
=
v
2
(5)
f_4(v) = v^2 \tag{5}
f4(v)=v2(5)
使用更一般的函数
f
5
(
v
)
=
∣
v
∣
p
(6)
f_5(v) = |v|^p \tag{6}
f5(v)=∣v∣p(6)
当
p
=
1
p = 1
p=1 时, 它退化为
f
3
f_3
f3, 即对应于 1 范数.
当
p
=
2
p = 2
p=2 时, 它退化为
f
4
f_4
f4, 即对应于 2 范数.
当
p
=
0
p = 0
p=0 时, 令
v
0
=
{
0
if
v
=
0
1
o
t
h
e
r
w
i
s
e
v^0 = \left\{\begin{array}{ll}0 & \textrm{if } v = 0\\ 1 & \rm{otherwise}\end{array}\right.
v0={01if v=0otherwise
它退化为数非 0 元素的个数, 即为 0 范数.
物理意义:
p
p
p 值越大, 少数大的
v
v
v 值 (可认为对应于 outlier) 对总体性能影响越大;
p
p
p 值为
0
0
0 的时候, 只要是没完全准确预测, 效果都是一样的, outlier影响降到最低.
cost 的观点: 在这里 cost 和 loss 是一致的. loss function
f
f
f 也可以看作是 cost function.
问题:
- p p p 取分数的情况是否常见? 如 0.5 0.5 0.5, 1.5 1.5 1.5.
- 能否设计其它的 (损失) 函数, 如
f 6 ( v ) = arctan ∣ v ∣ (6) f_6(v) = \arctan |v| \tag{6} f6(v)=arctan∣v∣(6)
的值域为 [ 0 , 1 ) [0, 1) [0,1).
欢迎留言!
感谢 韭菜教授 的留言。