奥卡姆剃刀
(
Occam’s Razor
)
原理是由
14
世纪逻辑学家
William of Occam 提出的一个解决问题的法则:“
如无必要
,
勿增实体
”.
奥卡姆剃刀的思想和机器学习中的正则化思想十分类似:
简单的模型泛化能力更好
.
如果有两个性能相近的模型,
我们应该选择更简单的模型
.
因此
,
在机器学习的学习准则上
,
我们经常会引入参数正则化来限制模型能力,
避免过拟合
.
奥卡姆剃刀的一种形式化是
最小描述长度
(Minimum Description Length,MDL)
原则
,
即对一个数据集𝒟,最好的模型𝑓 ∈ ℱ 会使得数据集的压缩效果最好,
即编码长度最小
.