(文章都是不定时更新的,已发布的博客也会不定时编辑,如有错误,请各位指正:))
1. No free Lunch Theorem
考虑平均的所有数据生成的方法,所有的分类算法在未见过的数据上实际上都有相同的泛化误差(generalization error).
No free lunch theorem表明的是,在我们设计分类器时,并不是在设计适合所有数据的分类器,实际上,分类器的设计应该更是怎对当前面对的数据集的分布。
2 Regularization
正则化表明了我们模型对哪些函数的偏爱,即从假设空间(hypothesis space)中选择更为适合的函数集(这一点实际上就是满足了No free lunch theorem)