昨天推送一篇关于正则化是如何发生或出现的，错过的朋友可点击阅读：
今天有读者问我正则化是如何解决过拟合问题的，下面说一下我对此问题的浅见。
如果模型复杂度是权重的函数，则特征权重的绝对值越高，对模型复杂度的贡献就越大。
先使用 正则化来量化复杂度，正则化项定义为所有特征权重的平方和：
不难理解，接近于 0 的权重对模型复杂度几乎没有影响，而离群值权重(取值相对更大的 )则可能会产生更大的影响。
例如，以最简单的线性模型为例，它具有以下权重：
W1 = 0.2
W2 = 1.5
W3 = 5
正则化项的 权重和 容易计算，过程如下：
正则化项权重和：
对比 正则化前后， 权重贡献值的变化。
正则化前：
正则化后：
结论：正则化后 的权重贡献更大了，换句话说，模型更加依赖权重参数 ，相对的，其他参数变得更不重要。
总结：以上便是正则化解决过拟合的一种直观认识，通过这个案例，希望大家对正则化如何解决过拟合有进一步认识。
觉得有用，点个在看
4313
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
