二分类的评估指标

---

混淆矩阵

二分类的混淆矩阵

TN：将负类预测为负类（真负类）
FN：将正类预测为负类（假负类）
TP：将正类预测为正类（真正类）
FP：将负类预测为正类（假正类）

---

指标

准确率（Acc）

俗称：样本中分对的占比
即：测试样本中正确分类的样本数占总测试的样本数的比例

召回率（Recall）

俗称：分对的正类占真正类样本的占比
即：召回率又称查全率，测试样本中正确分类为正类的样本数占实际为正类样本数的比例

精确率（Precision）

俗称：分对的正类占分为正类样本的占比
即：准确率又叫查准率，测试样本中正确分类为正类的样本数占分类为正类样本数的比例

f1

F1 值是查准率和召回率的加权平均数。F1 相当于精确率和召回率的综合评价指标，对衡量数据更有利，更为常用

真正类率（TPR）

其实和召回的计算方法是一样的

负正类率（FPR）

所有负样本中预测为正样本的占比

KS值

通过KS值可以知道模型划分正负类别的最优阈值（详情见KS曲线）

AUC

auc是ROC曲线下的面积。
随机挑选一个正样本以及一个负样本，当前的分类算法根据计算得到的分数将这个正样本排在负样本前面的概率就是AUC值。通常在rank中，auc是一个非常重要的指标
通俗讲，auc就是把m个正样本和n个负样本任意两两匹配得到mn个样本对，在这mn个样本对中，正样本>负样本的样本个数假设为k，则auc=k/m*n，

GAUC

GAUC其实就是group auc，这个group可以根据业务来决定，例如feed流推荐针对用户一个人对items做排序，group可以设定为user_id，即计算每一个用户的auc。
需要注意的是，需要去掉全部为正样本或者全部为负样本的用户。

曲线图

recallPrecision曲线

通过设定范围为【0，1】的阈值，来得到n对recall和precision的值，就是recallPrecision曲线了

KS曲线

我们训练出来的模型，一般不是直接给出是正类还是负类的结果，给的是为正类的概率，我们还需要选择一个阈值，实例通过模型得到的概率大于阈值，判断为正类，小于阈值判断为负类。也就是说阈值的不同，以上的各个指标的值也是不同的。把阈值看成自变量，以上TPR、和FPR看成因变量，在二维坐标系里面做关系曲线，这就是KS曲线

ROC曲线

ROC的全称是“受试者工作特征”（Receiver Operating Characteristic）曲线，首先是由二战中的电子工程师和雷达工程师发明的，用来侦测战场上的敌军载具（飞机、船舰），也就是信号检测理论。之后很快就被引入了心理学来进行信号的知觉检测。此后被引入机器学习领域，用来评判分类、检测结果的好坏。

ROC曲线用到的还是TPR和FPR值，KS值能表示模型的区分能力，我们只在阈值等于KS值时，觉得模型是好的，这样忽视掉了阈值取其他值的情景，当我们不需要确定阈值，有没有一种评估标准，无关阈值的取值呢？

在实际应用场景中，模型预测了一个样本集，在预测为正类中，我们当然希望的是，预测为正类的样本中，实际也为正类样本的比例越高越好，预测为正类的样本中，实际为负类样本的比例越小越好，也就是说，TPR越大越好，最好等于1，FPR越小越好，最好等于0，可是没有这么完美的事情，TPR变大的同时，FPR也会变大。数学家是聪明的，同时变化是吧，变化的速度总是有区别的吧？

我们随机取很多阈值，得到很多FPR和TPR。用 X轴表示FPR，Y轴表示TPR，绘制以下曲线，这个曲线就是ROC曲线。