L1 Loss VS L2 loss（MSE Loss）对比

L1范数将两个向量相减，取其绝对值，然后将它们相加。例如，如果 x=(1,2,3), y=(-1,2,4) 则 d(x,y)=|1-(-1)|+|2-2|+|3- 4|=2+0+1=3。

L2范数对两个向量的每个元素进行减法、平方、求和、开根。例如，如果 x=(1,2,3)，y=(-1,2,4)，则 d(x,y)=root(4+0+1)=root(5)。事实上，从高中数学开始就理所当然的距离定义就是L2范数。它是指两个向量（点）之间的直线距离。

L1正则化和L2正则化都是在损失函数中添加一个正则项，以限制模型的复杂度，防止过拟合，提高泛化能力。它们的区别主要有以下几点：

- L1正则化是对模型参数的绝对值求和，也称为L1范数。L2正则化是对模型参数的平方求和，再开平方，也称为L2范数或欧几里得范数。
- L1正则化可以产生稀疏解，即让部分参数为零，从而实现特征选择。L2正则化不会产生稀疏解，但可以让参数更小，更平滑。
- L1正则化的优点是可以减少无关特征的影响，降低模型的维度，提高模型的可解释性。L1正则化的缺点是可能会损失一些重要特征，导致欠拟合，而且不太容易优化。
- L2正则化的优点是可以防止模型过拟合，提高模型的稳定性，而且容易优化。L2正则化的缺点是不能实现特征选择，降低模型的可解释性，而且可能会引入一些噪声特征。
- L1正则化和L2正则化可以结合起来使用，称为弹性网络（Elastic Net）¹。弹性网络可以兼顾稀疏性和平滑性，同时避免L1正则化和L2正则化各自的缺陷。

原理分析：

 L1正则化可以产生稀疏解，即让部分参数为零，是因为它的目标函数是在最小化损失函数的同时，也要最小化参数向量的L1范数，也就是参数绝对值之和。这样的目标函数相当于在参数空间中用一个菱形来逼近损失函数的等值线，而菱形的顶点很容易与坐标轴相交，从而使得某些参数为零。

L1损失和MSE(L2)损失的另一个区别是，L1损失测量的是预测值和实际值之间的绝对差值，而MSE损失测量的是预测值和实际值之间的平方差值。这意味着L1损失对离群值更加稳健，因为绝对值函数对所有的错误都一视同仁，而MSE损失由于是平方运算，对较大的错误给予更多的权重。

总之，L1损失和MSE损失是衡量回归问题中预测值和实际值之间误差的两种不同方式，L1损失对离群值更加稳健，MSE损失对较大的误差给予更多的权重。