机器学习笔记（10）—方差和偏差

本节主要介绍如何利用偏差和方差发现训练过程中的问题。
1.一些小问题
模型选择是指选择合适的目标函数，选择特征来构造算法，选择合适的学习率λ。
选择合适的目标函数：把数据集分为训练集（60%），验证集（20%），测试集（20%）。使用验证集检测训练集上得到的目标函数，之后在测试集上检验。
2.方差和偏差

图中的J_cv (θ)表示验证集的代价函数，J_train (θ)表示训练集的代价函数。横轴代表目标函数的最高次项。偏差问题是指在训练集和验证集上的误差均比较大，而且两者接近。方差问题是指在训练集上的误差较小，但是在测试机上的误差很大。
偏差问题代表目标函数欠拟合，而方差问题代表过拟合。