1.范数
用来衡量一个向量的大小,例如向量
x
x
x,
∥
x
∥
p
=
(
∑
i
n
∣
x
i
∣
p
)
1
p
{{\parallel x\parallel}_p=(\sum_{i}^{n}|x_i|^p)^{\frac{1}{p}}}
∥x∥p=(∑in∣xi∣p)p1。
该公式可以解释为:向量中的各个元素的绝对值的
p
p
p次方之和的
1
p
\frac{1}{p}
p1次方。
再直观点:该
x
x
x范数(
∥
x
∥
p
{\parallel x\parallel}_p
∥x∥p)衡量从原点到点
x
x
x的距离。
-----范数满足的性质,以及
p
p
p取值不同,叫什么名字(比如
p
=
2
p=2
p=2叫欧氏距离,也叫
L
2
L_2
L2范数),这里就不再细说。可以参考链接:什么叫范数
2.损失
主要说一下
L
1
L_1
L1损失和平均绝对误差(MAE)损失的区别。(如有不对,请指出)
------ 至于
L
2
L2
L2损失、MSE,有了这之前的区别,就方便理解了。
2.1 L 1 L_1 L1损失
L
1
l
o
s
s
L_1 loss
L1loss,也被称为最小绝对值偏差(LAD),最小绝对值误差(LAE)。
总的说来,它是把目标值(
y
^
i
\widehat{y}_i
y
i)与估计值(
y
i
y_i
yi)的绝对差值的总和(
S
S
S)最小化,也叫真实值与预测值绝对差值的之和。
L
1
(
y
^
i
,
y
)
=
∑
i
=
0
n
∣
y
i
−
y
^
i
∣
L_1(\widehat{y}_i,y)=\sum_{i=0}^{n}|y_i-\widehat y_i|
L1(y
i,y)=∑i=0n∣yi−y
i∣
-----公式中
y
i
y_i
yi表示一个向量
Y
Y
Y的任意元素,
i
i
i相当于索引。
2.2 M A E MAE MAE
平均绝对误差(MAE)是另一种常用的回归损失函数,它是目标值与预测值之差绝对值的和,表示了预测值的平均误差幅度,而不需要考虑误差的方向,范围是
0
∼
∞
0\thicksim \infty
0∼∞,其公式如下所示∶
M
A
E
=
∑
i
=
1
n
∣
y
i
−
y
^
i
∣
n
MAE=\frac{{\sum_{i=1}^{n}}|y_i-\widehat{y}_i|}{n}
MAE=n∑i=1n∣yi−y
i∣
2.3 两者区别
其实,公式就说明了问题。具体在跑模型的时候,可以自己换这两个损失试试。
-------参考连接:L1、L2、smooth L1三类损失函数
3. L 1 、 L 2 L_1、L_2 L1、L2正则化
因为在机器学习中经常用到,这里做个简单的介绍:
叫做罚项,是为了限制模型的参数,防止模型过拟合而加在损失函数后面的一项。
-------在损失后面加的
L
1
L_1
L1范数(通常写做
+
λ
∑
i
n
∣
x
i
∣
+ \lambda \sum_{i}^{n}|x_i|
+λ∑in∣xi∣),就叫做
L
1
L_1
L1正则化
-------在损失后面加的
L
2
L_2
L2范数(通常写做
+
λ
∑
i
n
∣
x
i
∣
2
+ \lambda \sum_{i}^{n}|x_i|^2
+λ∑in∣xi∣2),就叫做
L
2
L_2
L2正则化
具体可以参考链接:L1和L2详解(范数、损失函数、正则化)
或者正则化项L1和L2的区别