深度学习实践基础

1. 训练，验证，测试集

应用型机器学习是一个高度迭代的过程。一个领域得到的直觉经验，通常无法转移到其他领域。

一切都是为了更加有效的进行上面的迭代过程。训练数据通常分为训练集，交叉验证集（验证集），测试集。
三个数据集的作用：训练集执行算法，验证集选择，测试集评估。
小数据时代：验证测试三七分，或者60-20-20
大数据时代：98-1-1或者更小。

样本分布不匹配，这样不好。

测试集没有也行，不需要无偏估计的情况下。

“训练验证集”——二合一。

2. 偏差，方差

高偏差——欠拟合
高方差——过拟合


上面就是训练集和验证集误差和方差、偏差的关系。