Deep Leaning 学习笔记之改善神经网络的超参数（1.1）—— 训练集及偏差方差

1.训练集

1.1 训练集的组成

训练集一般分为三部分：训练集——交叉验证集（开发集dev set）——测试集
作用：
训练集 ：用来进行模型的训练
交叉验证集 ：用来将训练好的模型进行验证，来判断哪个模型性能更加良好
测试集 ： 当前两个步骤进行长时间运行后，通过测试集对结果中最好的模型进行评估，这样可以在评估算法时不引入偏差

2 偏差方差

2.1 偏差bias

高偏差，欠拟合
即意味着可能类似于线性分类，导致训练集和开发集的精确度都很高

2.2 方差Variance

高偏差，过拟合
意味着可能过分的贴切训练集，导致训练集的精确度很高，但是开发集的精确度很低

2.3 贝叶斯误差

也就是评判标准。

• 以人为例的话，人可以百分百区分各种图像，那么贝叶斯误差为0
• 如果图像本来很模糊，人也不能很好区分，比如90%都能区分对，那么贝叶斯误差为10%
  方差和偏差，都是在训练集和开发集构成一致的前提下进行区分