l1,l2 weight decay

机器学习的问题就是在规则化参数的同时最小化误差，最小化误差是为了让我们的模型拟合训练数据，而规则化参数是防止我们的模型过分拟合训练数据

L1范数（稀疏规则算子，向量中各元素的绝对值的和）：可以实现稀疏

为什么要实现稀疏？

一般来说Xi的大部分元素（也就是特征）和Yi(最终输出)没有关系或者不提供任何信息，在训练时考虑这些会获得更小的训练误差但是在预测时考虑了这些没用的信息，干扰了正确的预测。稀疏规则化就可以去掉没有信息的特征，也就是把这些特征对应的权重置为零。

模型更容易解释

L2范数（岭回归，权重衰减，向量中各元素的平方和的平方根）：防止过拟合

L2范数规则项最小可以使得W的每个元素都很小，越小的参数说明模型越简单，越简单的模型越不容易产生过拟合

L2范数有助于处理condition number不好的情况，condition number是一个矩阵的稳定性或者敏感度的度量

L2范数不但可以防止过拟合还可以让优化求解变得稳定和快速。

总结：L1会趋向于产生少量的特征，而其他的特征都是零，L2会选择更多的特征，这写特征都会接近于零。

weight-decay是对weight的稀疏度进行限制

L1,L2 loss 还可以对图片中的元素进行最小化，而不是限制weight ，这样会获得图像的 low-frequency 的特性信息，会获得大概的轮廓。

L1 loss 没有 L2 loss 对异常值敏感，L2 loss 需要更小心的调节学习率来避免梯度爆炸 ---fast rcnn