模型设计准则

学习笔记摘要
机器学习需要根据问题特点和已有数据确定具有最强解释性或预测力的模型，其过程也可划分为类似于“学习 - 练习 - 考试”三个阶段，每个阶段的目标和使用的资源可以归纳如下：

1.模型拟合（model fitting）：利用训练数据集（training set）对模型的普通参数进行拟合；

2.模型选择（model selection）：利用验证数据集（validation set）对模型的超参数进行调整，筛选出性能最好的模型；

3.模型评价（model assessment）：利用测试数据集（test set）来估计筛选出的模型在未知数据上的真实性能。

模型拟合的任务是计算未知的参数，但它还要解决一个更重要的问题，就是在**拟合参数前确定模型的形式，或者说到底要拟合哪些参数。**模型拟合本身只是简单的数学问题，交给计算机就可以万事大吉，可模型设计却颇有门道，涉及到更多的思考：一方面，模型的合理性很大程度上取决于待解决问题本身的特征；另一方面，模型的复杂度也要和问题的复杂度相匹配。在机器学习中，对这两个基本准则的理解催生了两个基本的规律，分别是无免费午餐定理和奥卡姆剃刀原则。

无免费午餐

无免费午餐（No Free Lunch, NFL）定理证明了任何模型在所有问题