奥卡姆剃刀原理

        奥卡姆剃刀 （ Occam’s Razor ） 原理是由 14 世纪逻辑学家 William of Occam 提出的一个解决问题的法则：“ 如无必要 ， 勿增实体 ”． 奥卡姆剃刀的思想和机器学习中的正则化思想十分类似： 简单的模型泛化能力更好 ． 如果有两个性能相近的模型， 我们应该选择更简单的模型 ． 因此 ， 在机器学习的学习准则上 ， 我们经常会引入参数正则化来限制模型能力， 避免过拟合 ．

        奥卡姆剃刀的一种形式化是 最小描述长度 （Minimum Description Length，MDL） 原则 ， 即对一个数据集𝒟，最好的模型𝑓 ∈ ℱ 会使得数据集的压缩效果最好， 即编码长度最小 ．