L1范数,L1损失,还有MAE损失的区别

1.范数

用来衡量一个向量的大小,例如向量 x x x ∥ x ∥ p = ( ∑ i n ∣ x i ∣ p ) 1 p {{\parallel x\parallel}_p=(\sum_{i}^{n}|x_i|^p)^{\frac{1}{p}}} xp=(inxip)p1
该公式可以解释为:向量中的各个元素的绝对值的 p p p次方之和的 1 p \frac{1}{p} p1次方。
再直观点:该 x x x范数( ∥ x ∥ p {\parallel x\parallel}_p xp)衡量从原点到点 x x x距离
-----范数满足的性质,以及 p p p取值不同,叫什么名字(比如 p = 2 p=2 p=2叫欧氏距离,也叫 L 2 L_2 L2范数),这里就不再细说。可以参考链接:什么叫范数

2.损失

主要说一下 L 1 L_1 L1损失和平均绝对误差(MAE)损失的区别。(如有不对,请指出)
------ 至于 L 2 L2 L2损失、MSE,有了这之前的区别,就方便理解了。

2.1 L 1 L_1 L1损失

L 1 l o s s L_1 loss L1loss,也被称为最小绝对值偏差(LAD),最小绝对值误差(LAE)。
总的说来,它是把目标值( y ^ i \widehat{y}_i y i)与估计值( y i y_i yi)的绝对差值的总和( S S S)最小化,也叫真实值与预测值绝对差值的之和。
L 1 ( y ^ i , y ) = ∑ i = 0 n ∣ y i − y ^ i ∣ L_1(\widehat{y}_i,y)=\sum_{i=0}^{n}|y_i-\widehat y_i| L1(y i,y)=i=0nyiy i
-----公式中 y i y_i yi表示一个向量 Y Y Y的任意元素, i i i相当于索引。

2.2 M A E MAE MAE

平均绝对误差(MAE)是另一种常用的回归损失函数,它是目标值与预测值之差绝对值的和,表示了预测值的平均误差幅度,而不需要考虑误差的方向,范围是 0 ∼ ∞ 0\thicksim \infty 0,其公式如下所示∶
M A E = ∑ i = 1 n ∣ y i − y ^ i ∣ n MAE=\frac{{\sum_{i=1}^{n}}|y_i-\widehat{y}_i|}{n} MAE=ni=1nyiy i

2.3 两者区别

其实,公式就说明了问题。具体在跑模型的时候,可以自己换这两个损失试试。
-------参考连接:L1、L2、smooth L1三类损失函数

3. L 1 、 L 2 L_1、L_2 L1L2正则化

因为在机器学习中经常用到,这里做个简单的介绍:
叫做罚项,是为了限制模型的参数,防止模型过拟合而加在损失函数后面的一项。
-------在损失后面加的 L 1 L_1 L1范数(通常写做 + λ ∑ i n ∣ x i ∣ + \lambda \sum_{i}^{n}|x_i| +λinxi),就叫做 L 1 L_1 L1正则化
-------在损失后面加的 L 2 L_2 L2范数(通常写做 + λ ∑ i n ∣ x i ∣ 2 + \lambda \sum_{i}^{n}|x_i|^2 +λinxi2),就叫做 L 2 L_2 L2正则化
具体可以参考链接:L1和L2详解(范数、损失函数、正则化)

或者正则化项L1和L2的区别

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值