机器学习之模型常用评估方法

一、留出法

定义：直接将集合划分为两个互斥的集合，其中一个作为训练集合，一个作为测试集合
1、测试集合和训练集合尽可能保持数据分布的一致性，比如要保证正反样本的比例不变
2、在给定了训练/测试集合的样本比例之后，仍要存在多种的划分方式，对数据集合D进行分割。

二、交叉验证法（无放回的重采样）

定义：将数据集D划分为k个大小相似的互斥子集。每次利用k-1个子集进行训练，然后用剩下的那个子集作为测试集，这样就可以获得k组训练/测试集，最终返回的是k个结果的均值。有一个特例留一法。

在处理较小的数据集合的时候我们一般会使用较大的k值来增加，较大的k使得在每次的迭代中会有更小的数据bias，但是同时会导致validation的时间变长，而且也会导致high Variance。也可以看出，LOO更适合小数据集上的训练。

三、自助法（bootstrapping）

定义：是一种有放回的随机采样方法。我们可以做一个简单的估计，样本在m次采样的过程中始终不被采到的概率是（1-1/m）^m，对m取极限，得到1/e=0.368。也就是说，通过自助法，初始数据集合D中大概有36.38%的样本未出现在采样数据集合D’中，于是我们可以将D‘作为训练集合，剩下的数据作为测试集合，那么我们对这中大概有1/3的样本没在测试集合中出现的测试称作包外估计（out-of-bag estimate）

缺点：改变了初始数据的分布，会引入偏差
优点：数据集合较小，难以有效划分训练/测试集时很有用；能从训练集合中产生很多不同的训练集，这对集成学习等方法很有好处

四、性能度量

1、P-R曲线

查准率：$P=\frac{TP}{TP+FP}$

查全率：$R=\frac{TP}{TP+FN}$ (召回率)

查准率与查全率是一对矛盾的度量，查准率越高，查全率往往越低，反之则越高

如果一个机器学习的P-R曲线被另外的一个机器学习的曲线完全包住，那么可以断言后者的性能比前者的性能好，比如图中的A的性能就比B的性能好。

平衡点一般是查全率与查准率的取值：$\frac{1}{F_1}=\frac{1}{2}\ast (\frac{1}{P}+\frac{1}{R})$

2、ROC、AUC

召回率：$TPR=\frac{TP}{TP+FN}$

误检率：$FPR=\frac{FP}{TN+FP}$

AUC(Area under Curve)：Roc曲线下的面积，介于0.1和1之间。Auc作为数值可以直观的评价分类器的好坏，值越大越好。

首先AUC值是一个概率值，当你随机挑选一个正样本以及负样本，当前的分类算法根据计算得到的Score值将这个正样本排在负样本前面的概率就是AUC值，AUC值越大，当前分类算法越有可能将正样本排在负样本前面，从而能够更好地分类。