我们知道最小二乘法的 误差函数 是 均方L2范数,接下来则是讨论 为什么均方回归会对异常点outliers敏感 以及 有没有更好的误差函数使得更好的处理outliers?
常见的误差函数:
上图可以看出,对于绝对值误差函数,发现在误差 x 在0的附近发现不可导,因此优化难以进行;而Huber完美解决这样的问题,在0附近可导,在大误差范围又兼具绝对值特性。
- 最小化均方L2范数 等价于 假设误差服从独立等方差的 高斯分布 的最大似然估计;
- 最小化L1范数 等价于 假设误差服从独立等方差的 拉普拉斯分布 的最大似然估计。
证明:
Q1: 为什么L2范数回归会对异常点outliers敏感,L1范数回归是否要比 L2范数回归鲁棒更好?
A1: 由于重尾分布。
根据上图可以看出在同方差的条件下,选取某段误差区间,例如:当 σ = 1 \sigma =1 σ=1,误差 x ∈ [ 0 , 1 ] x\in [0,\ 1] x∈[0, 1]时,可以发现Laplace更集中在误差小的范围,而Gauss包容更多误差大的点,因此对于异常点就更敏感些。
因此可以发现 L1范数回归 要比 L2范数回归 鲁棒更好。
更通俗来说:L2范数和L1范数分别评估的是“均值”和“中值”。