1. 分类问题
混淆矩阵
- True Positive(真正, TP):将正类预测为正类数.
- True Negative(真负 , TN):将负类预测为负类数.
- False Positive(假正, FP):将负类预测为正类数 →→ 误报 (Type I error).
- False Negative(假负 , FN):将正类预测为负类数 →→ 漏报 (Type II error).
NULL | Positive | Negative |
---|---|---|
True | True Positive(TP) | True Negative(TN) |
False | False Positive(FP) | False Negative(FN) |
1.1**精确率(precision)**定义为:
1.2**准确率(accuracy)**定义为(注意二者的区别):
在正负样本不平衡的情况下,准确率这个评价指标有很大的缺陷。比如在互联网广告里面,点击的数量是很少的,一般只有千分之几,如果用ACC,即使全部预测成负类(不点击)ACC 也有 99% 以上,没有意义。
1.3召回率(recall,sensitivity,true positive rate)定义为:
精确率和准确率都高的情况下, F1 值也会高。
通俗解释
在信息检索领域,精确率和召回率又被称为查准率和查全率:
1.4 ROC曲线
定义:
In signal detection theory, a receiver operating characteristic (ROC), or simply ROC curve, is a graphical plot which illustrates the performance of a binary classifier system as its discrimination threshold is varied.
比如在逻辑回归里面,我们会设一个阈值,大于这个值的为正类,小于这个值为负类。如果我们减小这个阀值,那么更多的样本会被识别为正类。这会提高正类的识别率,但同时也会使得更多的负类被错误识别为正类。为了形象化这一变化,在此引入ROC,ROC曲线可以用于评价一个分类器好坏。
ROC关注的两个指标:
True positive rate:
TPR=TPTP+FN
False positive rate: FPR=FPFP+TN
直观上,TPR 代表能将正例分对的概率,FPR 代表将负例错分为正例的概率。在 ROC 空间中,每个点的横坐标是 FPR,纵坐标是 TPR,这也就描绘了分类器在 TP(真正率)和 FP(假正率)间的 trade-off2。
1.5 AUC
AUC(Area Under Curve)被定义为ROC曲线下的面积,显然这个面积的数值不会大于1。
The AUC value is equivalent to the probability that a randomly chosen positive example is ranked higher than a randomly chosen negative example.
翻译过来就是,随机挑选一个正样本以及一个负样本,分类器判定正样本的值高于负样本的概率就是 AUC 值。简单说:AUC值越大的分类器,正确率越高。