利用统计数据来验证分类器改进性能的假设

两个分类器在不同数据集的比较:

• 平均值
  1.对于不同数据集的结果不具有可比性
  2.但在相关问题上有意义，如不同机构的某种疾病的数据库
  3.受极端值影响很大（毫无统计意义）
• 双T检验
  1.只用在数据集差异相当时双T检验才有意义
  需要数据集的样本足够大（～30）以满足正态分布。
  2.受极端值的影响。
• Wilcoxon 符号检验
  使用非参数检验，不假设正态分布，同时受极端值影响小
• 符号检验
  需要比Wilcoxon更多的数据集进行测试（好像感觉这个没啥用）

多个分类器在不同数据集的比较：

• F检验/方差分析：
  其要求随机变量具有相等的方差，故在机器学习上不具有意义。

• Friedman检验
  1.非参数检验，对算法进行排序，若相等按平均等级分配。
  2.p<0.05时和方差分析能力差不多