机器学习基础 II

1. 模型评估与模型选择

在实际应用中，针对具体的监督学习问题，为了评估所训练出的模型是否有较好地泛化能力，可以把数据集切割成训练集和测试集两部分(注意使训练集和测试集中均含有各种类型的数据)。

用训练集在各种条件下(如：不同的参数个数)训练模型，学习出其参数后，再在测试集上评价各个模型的测试误差。选择测试误差最小的模型。

引用Andrew Ng的机器学习课程中的一个例子进行说明。

假设要在10个不同次数的多项式模型之间进行选择：
1. $h_\theta(x) = \theta_0+\theta_1x$
2. $h_\theta(x) = \theta_0+\theta_1x+\theta_2x^2$
3. $h_\theta(x) = \theta_0+\theta_1x+\cdots+\theta_3x^3$
$\vdots$
10. $h_\theta(x) = \theta_0+\theta_1x+\cdots+\theta_{10}x^{10}$
决策函数 $h_\theta(x)$
训练集误差$\mathrm J_{train}(\theta)$
测试集误差