机器学习之模型选择（K折交叉验证，超参数的选择）

来源：

https://www.cnblogs.com/jerrylead/archive/2011/03/27/1996799.html

 

对于解决同一个问题，如怎么选择模型去拟合线性回归中只有一个特征时房价预测问题，如可能有不同的模型去解决，如：

1、d = 1，h（θ） = θ0+θ1x

2、d = 2，h（θ） = θ0+θ1x+θ2x^2

3、d = 3，h（θ） = θ0+θ1x+θ2x^2+θ2x^3

4、d = 4，h（θ） = θ0+θ1……

5、d = 5，h（θ） = θ0+θ12……

6、d = 6，h（θ） = θ0+θ1……

7、d = 7，h（θ） = θ0+θ1……

8、d = 8，h（θ） = θ0+θ1……

9、d = 8，h（θ） = θ0+θ1……

10、d = 10，h（θ） = θ0+θ1x+……+θ10x^10

其中d为x的平方数，这时，d就为超参数，而对于这十个模型我们该怎么去选择呢，这就涉及到交叉验证，这里我们只谈最常用到的方法：k折交叉验证。

对于个分类或回归问题，假设可选的模型为。k-折叠交叉验证就是将训练集的1/k作为测试集，每个模型训练k次，测试k次，错误率为k次的平均，最终选择平均率最小的模型Mi。