本文介绍了L1-norm（最小绝对偏差）和L2-norm（最小二乘）在机器学习中的应用，包括正则化和损失函数。L1-norm具有鲁棒性和稀疏性，适合特征选择，而L2-norm则更稳定，通常导致唯一解。通过实例展示了两者对异常值的敏感度差异。
在练习机器学习时，您可能会选择使用L1范数或L2范数进行正则化或作为损失函数，等等。
L1-范数也称为最小绝对偏差（LAD），最小绝对误差（LAE）,又叫做 taxicab-norm 或者 Manhattan-norm。这基本上是将目标值（Yi）与估计值 (f(xi)) 之间的绝对差（S）的总和最小化：
L2-范数也称为最小二乘。它基本上是最小化目标值（Y i）与估计值（f（x i）之间的差（S）的平方和：
L1-norm和L2-norm的差异可以迅速总结如下：
| L2 | L1 |
|---|---|
| 鲁棒性 (弱) | 鲁棒性 (强) |
| 解法 (稳定) | 解法 (不稳定) |
| 唯一解 (是) | (可能有多个解) |
| 没有特征选择 | 内置特征选择 |
| 鲁棒性(弱) | 鲁棒性(强) |
最低0.47元/天 解锁文章
1647
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
