L1距离和L2距离的解释

在这里插入图片描
参数解释:其中I1和I2是p维向量,例如I1=[0, 1],I2=[1, 0]。则p=2,d1(I1,I2) = 2, d2(I1, I2) = √2.
解释一下为什么L1距离图像为什么为正方形,而L2距离图像为圆
我们以二维空间为例:对于L1,他计算的是第一维差的绝对值加上第二维差的绝对值,可以想象成直角三角形的两条直角边的长度和。对于L2,他计算的是第一维差的平方加上第二维差的平方再求和,然和开根。由勾股,可以想象成直角三角形的斜边长。
当距离一定时,若以I1为原点,则I2所有可能的点即为上述图像。

### 定义 #### L1 Loss (绝对误差损失) L1 Loss 表示预测值与实际值之间差异的绝对值总。对于单个样本而言,其计算方式如下: \[ \text{L1 Loss} = |y_{\text{pred}} - y_{\text{true}}| \] 其中 \( y_{\text{pred}} \) 是模型给出的预测结果,\( y_{\text{true}} \) 则代表真实的标签值。 在多维情况下,则是对所有维度上的差取绝对值得到向量后再求[^1]。 ```python import torch.nn as nn criterion_l1 = nn.L1Loss() output = criterion_l1(torch.tensor([0.8]), torch.tensor([1.0])) print(output.item()) ``` #### L2 Loss (均方误差损失) L2 Loss 计算的是预测值与目标值之间的平方差平均数,在数学上也被称为欧几里得距离或欧式距离。具体表达式为: \[ \text{L2 Loss} = (y_{\text{pred}} - y_{\text{true}})^2 \] 同样地,在处理多个特征时会先逐元素相减并平方之后再累加起来除以样本数量得到最终的结果[^2]。 ```python import torch.nn.functional as F def mse_loss(input, target): return F.mse_loss(input, target) output = mse_loss(torch.tensor(0.9), torch.tensor(1.0)) print(output.item()) ``` ### 区别 - **对离群点敏感程度不同**: L2 Loss 对于较大的残差更加敏感,因为它是基于二次幂运算;而 L1 Loss 只考虑绝对偏差大小,因此相对更稳健一些,不易受到极端数据的影响[^3]。 - **导数特性有异**: 当接近最优解附近时,由于 L2 Loss 函数曲线较为平坦,所以能够提供较小但持续存在的梯度来帮助优化过程收敛;相反,L1 Loss 在零处不可微分,这可能导致某些算法难以有效工作。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值