模型/数据训练

训练

训练数据可以分为几个阶段

训练集

简单交叉验证集（验证集【dev set】）

测试集

步骤分为：

对训练集执行训练算法

通过验证集选择最好的模型，经过充分验证选择了最终模型

选择模型后，在测试集上进行评估，对最终所选定的神经网络系统作出无偏评估，如果不需要无偏评估，也可以不做测试集

在大数据时代，随着数据量的增加，对于训练数据时的三个集的比例也随之发生了改变，验证集和测试集的比例随之不断减小

当数据量过百万时，其比例可以达到，训练集99.5%，验证集和测试集各占0.25%，或者验证集0.4%，测试集0.1%

数据集规模较小的可以适用于传统分类比例，60%/20%%/20%

在训练数据时，要确保验证集和测试集的数据来自于同一分布

偏差、方差

 

偏差高，称为欠拟合

并不能很好地拟合该数据集

方差较高，数据过度拟合，称为过拟合

在上述两种拟合中间还有一种拟合

复杂程度适中，数据拟合适度，，称为适度拟合，是介于过拟合和欠拟合中的一种

可以通过下述两个指标，来进行理解偏差和方差

训练集误差

验证集误差

就拿识别图片来判断是否是猫的案例进行举例

（偏差：错误率的高低，方差：两个错误率之间的差值大小）

1.假定训练集错误率为1％，验证集错误率为11%

这种情况下，训练集设置很好，而验证集相对较差，可能过度拟合了训练集，验证集并没有充分利用交叉验证集的作用，像这种情况我们就称为高方差

2.假定训练集错误率为15％，验证集错误率为16%

在这种情况下，人的错误率几乎为0，训练数据的拟合度不高，就是数据欠拟合，就可以说这种算法偏差比较高，相反他对验证集的结果却是合理的，

3.假定训练集错误率为15％，验证集错误率为30%

在这种情况下，认为这种算法的偏差比较高，因为它在训练集上的结果不理想，且方差也很高

4.假定训练集错误率为0.5％，验证集错误率为1%

这种情况下，方差和偏差都比较低

一般来说最优（optimal）误差，也被称为贝叶斯（Bayes）误差

首先通过查看训练集误差，判断数据拟合情况，当完成训练集开始验证集时，就可以判断方差是否过高，以上分析的前提都是假设贝叶斯误差误差很小，训练集和验证集数据来自相同分布，如果没有这些假设作为前提，分析过程将会更复杂

蓝色的分类器，会产生高偏差，因为数据拟合低，像这种接近线性的分类器，数据拟合度低，而紫色的分类器，会过度拟合部分数据，用紫色的线画出的分类器，具有高偏差和高方差的特点

偏差高是因为它是一条几乎线性的分类器，并为拟合数据

在初始模型训练完成后，我们需要知道算法的偏差高不高

如果偏差高，既要评估训练集或训练数据的性能，如果偏差确实高甚至无法拟合训练集，需要做的事就是选择一个新网络，必须去尝试不同的模型，可能有用也可能没用，不断尝试，直到找到合适的模型，解决掉偏差问题，从而可以拟合数据

一旦偏差降低到可以接受的程度，就可以检查方差有没有问题，为了评估方差，我们要查看验证集性能，如果方差高，最好的解决方法就是采用更多数据，但有时我们无法获得更多数据，我们也可以尝试通过正则化来减少过拟合。

如果能找到更合适的神经网络框架，可能会同时减少方差或偏差问题

总之就是需要不断地尝试直到找到一个低偏差低方差的网络模型

高偏差和高方差是两种不同的情况，在解决问题时，需要在后续解决问题时采取不同的方案，通常会采取训练验证集来诊断算法是否存在偏差或方差问题，然后根据结果选择部分方法