数据集合划分 Machine Learning

通常如果分为训练集和测试集，则比例为7:3

如果分为训练集、验证集和测试集，则比例为6:2:2.

测试集不应该参与到模型选择与训练过程中，如果总集合分布规律，尽量打乱数据使得训练验证测试重分布均匀。

增加数据会增大方差，减小偏差。

 

当在验证集和训练集上损失函数都大时，对应曲线图左侧，与偏差有关，此时欠拟合。

挡在训练集上损失函数很小，而在验证集上损失函数较大时（Jcv >> Jtrain），此时对应曲线图右侧，与方差有关，此时为过拟合。

对于多项式数量d选择的优化可以根据min(Jtrain*Jtrain + Jcv*Jcv)决定。

当λ较小时，容易过拟合，此时泛化性差；λ过大又会限制θ的选择从而导致欠拟合，Jcv和Jtrain都较高。可以通过使用train和cv遍历来寻找最优d和λ。

增加数据数量会增大train的训练误差，会减少cv的误差。如左图，当θ参数少时，会导致高偏差，此时增加数据虽然会使得cv的误差降低，但是效果不明显。如右图，当θ参数多时，数据少时容易导致高方差过拟合，增加数据量可以明显降低cv的误差。

 

提升算法效果的方法：

用高阶多项式+正规化一般效果>低隐层少参数