假设我们需要从某些候选模型中选择最适合某个学习问题的模型,我们该如何选择?以多元回归模型为例:,应该如何确定k的大小,使得该模型对解决相应的分类问题最为有效?如何在偏倚(bias)和方差(variance)之间寻求最佳的平衡点?更进一步,我们同样需要知道如何在加权回归模型中选择适当的波长参数,或者在基于范式的SVM模型中选择适当的参数C?
我们假设模型集合为有限集,我们的目的就是从这d个模型中,选择最有效的模型。
假设样本集为S,根据经验风险最小化原则(ERM),可能会使用这样的算法:
1.在S上训练每个模型,得到相应的假设函数