1、L1损失 -- 最小绝对值误差
最小化(预测值 - 真实值)的绝对值,鲁棒性强。
2、L2损失 -- 最小平方误差
最小化(预测值 - 真实值)的平方,对于大于1的数,平方更大,因此对样本敏感。
3、L1正则化
L1正则化和L2正则化可以看做是损失函数的惩罚项,L1正则化是指权值向量中各个元素的绝对值之和。L1正则化可以产生稀疏权值矩阵,稀疏模型就是大部分权重为0的模型,只有小部分特征对结果有效,有利于特征选择。
4、L2正则化(权重衰减)
L2正则化就是在代价函数后面再加上一个正则化项,原来权重系数为1,现在变为1−ηλ/n < 1,让系数变小,也就是权重衰减,因此L2正则化可以防止模型过拟合。
L2正则化是指权值向量ww中各个元素的平方求和,然后再求平方根。