机器学习 | 模型评估和选择 各种评估指标总结——错误率精度－查准率查全率－真正例率假正例率 PR曲线ROC曲线

1. 如何产生训练集和测试集呢？

1.1 留出法

​ 直接将数据集D划分为两个互斥的集合，一部分做训练集，一部分做测试集。

​ 举例比如D中有1000个样本，将它划分为包含800个样本的训练集和200个样本的测试集。

​ 需要注意

• 留出法要保证训练集和测试集数据划分的一致性，例如他们两者要保持类别相似的比例，比如上面训练集的800个样本中有400个正例，400个反例，比例1:1。 那么我们测试集的200个样本中也应该比例1:1，即100个正例，100个反例
• 单次使用留出法得到的结果不够稳定可靠，因而我们一般采用若干次随机划分，重复进行实验评估后取平均值

1.2 K折交叉验证法

K折交叉验证也就是要先将数据集划分成K个互斥的子集，要尽量保持数据分布的一致性，每次取k-1 个子集的并集作为训练集，余下的那个子集作为测试集。这样就可以进行k次训练和测试，最终返回k次的均值

由上我们可知，k折交叉验证需要保证数据分布的一致性，这有时候是不太容易的。而假设数据集中有m个数据，我们的k如果等于m 的话，也就是将我们的数据集分成m份，每次取一份做测试集。这种的好处是不受数据分布的影响，缺点是有时候数据集过于庞大而计算过慢

1.3 自助法

也就是在原始数据集D中随机采样得到一个新的数据集B,B做测试集，原始数据集D中除取B的部分做测试集，总共采样m次。

原理为什么可行

因为每一次放回抽样，假设样本总容量为m，则某一个样本被抽取做测试集的概率为$\frac{1}{m}$，连续抽取m次依然不被抽中的概率为$\lim （1-\frac{1}{m}{）}^m=\frac{1}{e}=0.368$

意味着原始数据集中有36.8%的数据可以不被抽走留下来做测试集

自助法在数据集较小，难以有效划分训练集和测试集的时候非常 有用，此外自助法能从初始数据集中产生多个不同的训练集。但是缺点是会改变初始数据集的分布，引入估计偏差

2. 模型评估指标

2.1 错误率和精度

$E(f;D)=\frac{1}{m}{\sum }_{i=1}^mⅡ(f(x_i)\ne y_i)$

• f(xi)是指学习器学习输出的判断结果
• yi是指示例xi的真实结果；
• Ⅱ(f(xi) ≠ yi)是指如果算法判断的结果和真实结果不相同则为1，否则为0。

精度定义为

$acc(f;D)=\frac{1}{m}{\sum }_{i=1}^mⅡ(f(x_i=y_i))=1-E(f;D)$

也就是判断正确的个数除以总个数。或者是用1-错误率

2.2 查准率和查全率与F1

错误率和精度大多数情况是可靠的，但部分情况是无用的。

比如我们看下面这个例子（出自《OpenCV实战40例》），我们有一千个病人，交给分类器判断病人是否患有癌症，给出的预测结果如下

这时候如果我们计算精度判断正确的，会发现结果他的精度很高，斜对角线是判断正确的990/1000=0.99，精度高达0.99。可是他真的好吗？我们在这种情况下更关心分类器在已患有癌症的人中找出了几个，那个很重要啊，我们要判断出来对症下药呀

真实患有癌症的人（第一行）有10+5=15个，而判断正确的有10个，概率是10/15=0.667, 看来这个分类器也没有那么优秀。

那么我们对上述进行一个抽象，便是周志华老师《西瓜书》中的混淆矩阵。

因为我们要检测是否患有癌症，因而患有癌症是正例，不患有癌症是反例。我们关心的是在真实患有癌症的人群中，有多少被判断正确了。也就是我们的

• 查全率$R=\frac{TP}{TP+FN}$ ,通俗来说就是我们期望检测出来的正例中有多少被真正检测出来了。

而还有一个是

• 查准率或者叫召回率 $P=\frac{TP}{TP+FP}$ ,通俗来说就是我们检测出来的正例中有多少是准的。

2.2.1 PR曲线及其绘制

而根据P和R可以绘制出二维的曲线，我们把他称为P-R曲线

P-R曲线如何绘制呢？

1 模型给不同的样例预测结果往往是一个范围内的值，从大到小排列

2 将阈值设为该范围内最大值，计算P和R

3 逐渐降低阈值，重复计算P,R

如下图，是三个模型A，B，C的P-R曲线图

引出P-R曲线是为了比较两个模型的效果性能，如果某一个分类器P-R曲线把另一个分类器的曲线完全包住，那么前者的性能更好，比如上图的B将C完全包主了，那么B的性能优于C。

但是往往会发生交叉，那么可以通过曲线下的面积来比较，面积大的更优秀，但面积却往往不好计算，因而引出我们的一些辅助判断两个模型的性能优劣

第一个是平衡点，也就是P和R相等的点，这个点的数值越大，分类器性能越好，如上图的A和B交叉，但A的平衡点约为0.8，B只有0.76

第二个是F1度量：

个人感觉平衡点不能反应不同情况的两个模型的优劣，F1更好一些

他可以反应曲线上任意一点两个模型的优劣

​ $F1=\frac{2\times P\times R}{p+R}$ F1 度量是对P和R做调和平均得到的

有时候不同任务对查全率和查准率的重视程度不一样，比如我们的癌症检测，我们更关注真正患有癌症的人中有多少被检测正确，也就是查全率更重要，有些任务查准率更重要。

因而我们就有$F_{\beta }$

$F_{\beta }=\frac{(1+\beta {)}^2\times P\times R}{({\beta }^2\times P)+R}$

• 当$\beta =1$ 的时候，退化为F1 度量
• 当$\beta >1$的时候，查全率更重要
• 当$\beta <1$的时候，查准率更重要

实际中，我们往往会进行多次训练，会有多个混淆矩阵，我们需要对这些矩阵做处理反应最后结果

有两种方式

• 先计算各个矩阵的查全率和查准率，再计算平均值，这样的话叫做宏查准率，宏查全率
• 先计算机各个矩阵的平均值，再计算最后平均矩阵的查全率和查准率宏查准率，宏查全率

2.3 正例率和假例率

• 真正例率$TPR=\frac{TP}{TP+FN}$ ,

• 假正利率 $FPR=\frac{FP}{TN+FP}$ ,通俗来说就是我们检测出来的正例中有多少是准的。

2.3.1 ROC曲线图绘制及AUC

1. 计算阈值和分类结果：
   • 选择一系列阈值（例如，从0到1，每隔0.01），对于每个阈值：
     • 计算在这个阈值下的真正例率（TPR）和假正例率（FPR）。
     • TPR= 真正例（TP）/ (真正例（TP）+假负例（FN）)
     • FPR = 假正例（FP）/ (假正例（FP）+真负例（TN）)
2. 绘制ROC曲线：
   • 在二维坐标系中，以FPR为横坐标（X轴），TPR为纵坐标（Y轴）。
   • 对于每个阈值，绘制一个点（FPR, TPR）。
   • 将所有点连接起来，形成ROC曲线。
3. 计算AUC：
   • 计算ROC曲线下的面积，即AUC值。这个值提供了模型整体性能的一个量化度量。

一般来说

AUC是ROC曲线下的面积，它的值介于0和1之间。AUC提供了一个量化的度量，用于比较不同分类器的整体性能。AUC的值越高，表示分类器的性能越好。

• AUC = 1：表示分类器在所有可能的阈值下都有完美的分类性能，即没有错误的分类。
• AUC = 0.5：表示分类器的性能等同于随机猜测，没有区分正负例的能力。
• 0.5 < AUC < 1：表示分类器的性能优于随机猜测。
• AUC < 0.5：在某些情况下，AUC可能小于0.5，这通常意味着分类器的性能是反向的，即它更倾向于将正例分类为负例，或者将负例分类为正例。

当然这上面的也是最基础的ROC，我们在实际应用中的需求不同，意味着两个真正例和反正例他们的重要性不同

3 假设检验

为什么要假设检验？

因为我们只在测试集上做了测试，得到了测试误差

但是实际上泛化误差不一定等于测试误差

我们要检验泛化误差和测试误差相近

感觉这部分在实际中用到比较少，需要的话我再后续补充吧

参考《西瓜书》《OpenCV实战40例》