l2范数求导_L1和L2 详解(范数、损失函数、正则化)

一、易混概念

对于一些常见的距离先做一个简单的说明

1.欧式距离

假设X和Y都是一个n维的向量，即

则欧氏距离：

2.L2范数

假设X是n维的特征

L2范数：

3.闵可夫斯基距离

这里的p值是一个变量，当p=2的时候就得到了欧氏距离。

4.曼哈顿距离

来源于美国纽约市曼哈顿区，因为曼哈顿是方方正正的。

二、损失函数

L1和L2都可以做损失函数使用。

1. L2损失函数

L2范数损失函数，也被称为最小平方误差(LSE)。它是把目标值

与估计值

的差值的平方和最小化。一般回归问题会使用此损失，离群点对次损失影响较大。