机器学习笔记（三）-模型评估与选择后半部分

1、性能度量

定义：衡量模型泛化能力的评价标准。

结果：不取决于算法和数据，取决于任务需求。

1.1 回归任务常用的性能度量：

均方误差

1.2 分类任务常用的性能度量：

1.2.1 错误率、精度：适用于二分类和多分类任务（关注错判的概率）

1.2.2 查准率、查全率：关注正确的多少被选出，可以构建查准率-查全率曲线，简称P-R曲线，查准率=查全率时的点称为平衡点（BEP，目前有很多更简化的度量方法），当存在多个二分类混淆矩阵时，可以用宏查准率和宏查全率。

ps:混淆矩阵，根据分类情况划分，真正例、假正例、真反例、假反例。

1.2.3 ROC和AUC：

ROC曲线：综合考虑学习器在不同任务下的期望泛化性能好坏，或者说，一般性能的好坏（很多学习器为测试样本产生一个实值或者概率预测，并将其与阈值进行比较，确定正反类，实值或者概率预测决定学习器的泛化能力，据此，可以将样例排序，根据不同任务利用截断点划分样本）

AUC：在两条ROC曲线交叉情况下，利用AUC方法，即比较ROC曲线下的面积

1.2.4 代价敏感错误率和代价曲线：

真实任务存在非均等代价，不同错误造成的后果不同，且希望总体代价最小，代价曲线可以反应学习器的期望总体代价。

2、比较检验

我们想要比较的泛化性能，但是实验评估得到的是在测试集上的性能，两者未必相同，且测试集上的性能跟测试集本身的选择有很大的关系。

2.1 假设检验

2.2 交叉检验t检验

2.3 McNemar检验

2.4 Friedman和Nemenyi检验

2.5 偏差与方差