十、机器学习基础知识：多模型性能对比评价方法

在进行预测或分类对比实验时，通常需要比较两个或两个以上的模型性能，因此，下面将介绍两个常用的多模型性能对比评价方法，一种是交叉验证t检验，该方法主要用于同一个数据集上两个模型的性能比较，另一种是Friedman检验与Nemenyi后续检验，这一方法主要用于同一组数据集上两个以上模型的性能比较。

1、交叉验证t检验

之前介绍过k折交叉验证方法，该方法将同一个数据集随机平均分成k份，然后让每一份依次作为测试数据集，余下数据作为训练数据集，使模型在训练数据集上训练后在测试数据集上进行测试以获得该模型在每份数据集上的误差，最后将误差值进行平均即为模型在此数据集上的最终误差值。而交叉验证t检验则是专门针对两个不同的模型在同一个数据集上进行k折交叉验证后的性能比较方法。
假设对于两个不同的模型A与模型B，在同一个数据集上进行k折交叉验证后得到的每份数据集上的误差分别如下：

则需要将这两个模型在k份测试数据集上的误差进行一对一的比较，而当这两个模型的性能相同时，则这两个模型在同一份测试数据集上误差应该相同，即：

i为1到k之间的任意正数。
其具体的比较过程为首先对两个模型在k份测试数据集上的误差进行一对一的比较，求取它们之间的差值，计算公式如下：