用验证曲线 validation curve 选择超参数

本文结构：

• 验证曲线的作用？
• 验证曲线是什么？
• 怎么解读？
• 怎么画？

---

验证曲线的作用？

我们知道误差由偏差(bias)、方差(variance)和噪声(noise)组成。

偏差：模型对于不同的训练样本集，预测结果的平均误差。
方差：模型对于不同训练样本集的敏感程度。
噪声：数据集本身的一项属性。

同样的数据（cos函数上的点加上噪声），我们用同样的模型（polynomial），但是超参数却不同（degree ＝ 1, 4 ，15），会得到不同的拟合效果：

第一个模型太简单，模型本身就拟合不了这些数据（高偏差）；
第二个模型可以看成几乎完美地拟合了数据；
第三个模型完美拟合了所有训练数据，但却不能很好地拟合真实的函数，也就是对于不同的训练数据很敏感（高方差）。

对于这两个问题，我们可以选择模型和超参数来得到效果更好的配置，也就是可以通过验证曲线调节。