机器学习-评估方法

错误率：E=a/m，在m个样本中有a个样本分类错误。

精度：1-a/m，即精度=1-错误率

误差：学习器的实际预测输出与样本的真实输出之间的差异称为“误差”。

过拟合：学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降。

欠拟合：指对训练样本的一般性质尚未学好。

评估方法：

1.留出法

将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T。

注意：（1）训练/测试集的划分要尽可能保持数据分布一致性。

           （2）单次使用留出法得到的估计结果往往不够稳定可靠，在使用留出法时，一般要采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果。

           （3）大约将2/3~4/5的样本用于训练，剩余样本用于测试。

2.交叉验证法

将数据集D划分为k个大小相似的互斥子集，每个子集都尽可能保持数据分布的一致性。每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集。进行K次训练和测试，最终返回的是这k个测试结果的均值。

留一法：假定数据集D中包含m个样本，令k=m。

留一法的评估结果往往被认为比较准确，但在数据集比较大时，训练m个模型的计算开销可能是难以忍受的。

3.自助法

给定包含m个样本的数据集D，我们对它进行采样产生数据集:每次随机从D中挑选一个样本，将其拷贝放入，然后再将该样本放回初始数据集D中，使得该样本在下次采样时仍有可能被采到；这个过程重复执行m次后，我们就得到了包含m个样本的数据集。

注意：（1）D中有一部分样本会在中多次出现，而另一部分样本不出现。经过估算，样本在m次采样中始终不被采到的概率约为0.368。

           （2）自助法在数据集较小，难以有效划分训练/测试集时很有用；自助法产生的数据集改变了初始数据集的分布，会引入估计偏差；在初始数据量足够时，留出法和交叉验证法更常用一些。