正则化与奥卡姆剃刀原理

正则化是模型选择的经典方法。

在想到正则化时，需要联系到这个词：结构风险最小化。

结构风险 = 经验风险 + 正则化项/罚项

且一般正则化项是模型复杂度的单调递增函数，即模型越复杂正则化项值就越大。

奥卡姆剃刀原理

“如无必要，勿增实体。”

正则化很符合奥卡姆剃刀原理。为什么呢？

正则化可以选出经验风险和模型复杂度同时较小的模型，正则化是直接作用在优化目标里面的。

在所有可能选择的模型中，能很好解释数据且十分简单才是最好的模型。

END.

参考：

李航，《统计学习方法》