数据划分:
训练集:通过不同模型进行训练
验证集:选择训练误差最小的模型
测试集:进行无偏评估算法
普通数据时代:7:3
大数据时代,只需要一小部分作为验证,测试 1%,主要是训练集98%
最好让验证集合测试集们来自同一分布,会让学习效率更快
如果无测试集: 不进行无偏估计也可以接受
偏差:体现数据的拟合程度
方差:体现模型的泛化性能
train set error: 1% 15% 15% 0.5%
Dev set error: 11% 16% 30% 1%
过拟合 欠拟合 方差偏差很高 方差偏差很低
很理想的分类,绝大部分的样本点都得到了正确的划分。低方差低偏差
这个模型就对应高偏差,因为有较多的样本点被错误的划分,这种情况我们称模型“欠拟合”。
如果我们使用的一个非常复杂的模型,个模型存在高方差,因为如果我们加入一些新的样本点(例如下图中的a和b),模型将会很大概率将他们划分到错误的类别里,特别是位于分类边缘的一些样本,这种情况我们称为“过拟合”。
还有一种况,即高偏差高方差的情况,如图所示,高偏差是因为模型对训练样本点不能很好的拟合,有较多的样本点被错误划分;高方差是因为对中间两个样本点过度拟合。因此这是一个比较糟糕的分类器
偏差过高:选择新网络,比如隐藏层的数量和节点数量
方差过高:采用更多数据/正则化/更合适的网络框架/dropout
防止过拟合方法一:
正则化