机器学习笔记——性能度量

性能度量：评价模型泛化能力的评价标准。本文主要介绍了均方误差、错误率、精度、F1、AUC、ROC。
回归任务常用–均方误差：
$$E_{(}f;D)=\frac{1}{m}\sum _{i=1}^m{\left(f(x_i)-y_i\right)}^2$$
分类任务中常用：

1. 错误率：分类错误的样本数占样本总数的比例；
2. 精度：分类正确的样本数占样本总数的比例。

对于二分类问题，可将样本根据其真实类别与学习器预测类别的组合划分为：真正例、假正例、真反例、假反例，具体如下：

查准率：
$$P=\frac{TP}{TP+FP}$$
查全率：
$$P=\frac{TP}{TP+FN}$$
一般，查准率高时，查全率往往偏低，而查全率高时，查准率往往偏低。
F1：基于查准率和查全率的调和平均定义的：
$$F1=\frac{2\ast P\ast R}{P+R}=\frac{2\ast TP}{样例总数+TP-TN}$$

ROC曲线：横轴为假正例率（FPR），纵轴为真正例率（TPR）,
真正例率（TPR）:
$$TPR=\frac{TP}{TP+FN}$$
假正例率（FPR）:
$$FPR=\frac{FP}{TN+FP}$$
如果一个学习器的ROC曲线可以完全包围另一个学习器的ROC曲线，则这个学习器性能更优，但是若两个学习器的ROC曲线发生交叉，则难以判断哪个性能更优，此时可用ROC曲线下的面积，即：AUC，来判断哪个学习器性能更优（面积越大，性能越优）。