L1/L2损失 和 L1/L2正则化

1、L1损失 -- 最小绝对值误差

最小化（预测值 - 真实值）的绝对值，鲁棒性强。

 

2、L2损失 -- 最小平方误差

最小化（预测值 - 真实值）的平方，对于大于1的数，平方更大，因此对样本敏感。

 

3、L1正则化

L1正则化和L2正则化可以看做是损失函数的惩罚项，L1正则化是指权值向量中各个元素的绝对值之和。L1正则化可以产生稀疏权值矩阵，稀疏模型就是大部分权重为0的模型，只有小部分特征对结果有效，有利于特征选择。

 

4、L2正则化（权重衰减）

L2正则化就是在代价函数后面再加上一个正则化项，原来权重系数为1，现在变为1−ηλ/n < 1，让系数变小，也就是权重衰减，因此L2正则化可以防止模型过拟合。L2正则化是指权值向量ww中各个元素的平方求和，然后再求平方根。