在机器学习中，经常需要对模型进行正则化，以降低模型对数据的过拟合程度，那么究竟如何理解正则化的影响？本文尝试从可视化的角度来解释其影响。
首先，正则化通常分为三种,都是在loss函数的基础上外加一项：
L0： 
，即不等于0的元素个数
L1： 
，即所有元素的绝对值之和
L2： 
，即所有元素的绝对值平方和
训练模型的时候，模型将在保证loss主体损失下降的情况下，尽量保证权重往这些方向走，从L1,L2的函数中就可以看出，在做梯度下降的时候，这些函数都将把权重赶向接近0的地方，让权重变得更加稀疏，大部分数据都在0附近。
从最小化结构风险的角度来看（这个和奥卡姆剃刀律有异曲同工之妙），在多个模型中，我们选择最简单的那个模型作为最好的模型，而不是最复杂的，权重分布最离散的那个。
从人类的角度来看，神经元（千亿量级&#x
最低0.47元/天 解锁文章
5074
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
