精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么？

在看到的几个项目中都是用AUC来评价分类器的好坏，而不是使用精确率，召回率，F1值，请问这是什么原因呢？他们各自有什么优缺点和使用场景啊？首先交代下专业名词：
准确率 - accuracy
精确率 - precision
召回率 - recall
F1值 - F1-score
ROC曲线下面积 - ROC-AUC （area under curve）
PR曲线下面积 - PR-AUC

ROC/AUC作为机器学习的评估指标非常重要，也是面试中经常出现的问题（80%都会问到）。

|| 什么是性能度量？
我们都知道机器学习要建模，但是对于模型性能的好坏（即模型的泛化能力），可能这个模型就是一个差的模型，泛化能力弱，对测试集不能很好的预测或分类。那么如何知道这个模型是好是坏呢？我们必须有个评判的标准。为了了解模型的泛化能力，我们需要用某个指标来衡量，这就是性能度量的意义。
当然，对于分类和回归两类监督学习，分别有各自的评判标准。本篇我们主要讨论与分类相关的一些指标，因为AUC/ROC就是用于分类的性能度量标准。

|| 混淆矩阵，准确率，精准率，召回率
1. 混淆矩阵
在介绍各个率之前，先来介绍一下混淆矩阵。如果我们用的是个二分类的模型，那么把预测情况与实际情况的所有结果两两混合，结果就会出现以下4种情况，就组成了混淆矩阵。
P（Positive）：代表1
N（Negative）：代表0
T（True）：代表预测正确
F（False）：代表错误

TP：预测为1，预测正确，即实际1
FP：预测为1，预测错误，即实际0
FN：预测为0，预测错误，即实际1
TN：预测为0，预测正确，即实际0

2. 准确率

定义是预测正确的结果占总样本的百分比。
虽然准确率可以判断总的正确率，但是在样本不平衡的情况下，并不能作为很好的指标来衡量结果。举个简单的例子，比如在一个总样本中，正样本占90%，负样本占10%，样本是严重不平衡的。对于这种情况，我们只需要将全部样本预测为正样本即可得到90%的高准确率，但实际上我们并没有很用心的分类，只是随便无脑一分而已。这就说明了：由于样本不平衡的问题，导致了得到的高准确率结果含有很大的水分。即如果样本不平衡，准确率就会失效。

正因为如此，也就衍生出了其它两种指标：精准率和召回率。

3. 精准率
又叫查准率/精确率。它是针对预测结果而言的，它的含义是在所有被预测为正的样本中实际为正的样本的概率，意思就是在预测为正样本的结果中，我们有多少把握可以预测正确，其公式如下：
精准率=TP/(TP+FP)

精准率和准确率看上去有些类似，但是完全不同的两个概念。精准率代表对正样本结果中的预测准确程度，而准确率则代表整体的预测准确程度，既包括正样本，也包括负样本。

4. 召回率
又叫查全率，它是针对原样本而言的，它的含义是在实际为正的样本中被预测为正样本的概率，其公式如下：
召回率=TP/(TP+FN)
召回率的应用场景：问题车辆召回；比如拿网贷违约率为例，相对好用户，我们更关心坏用户，不能错放过任何一个坏用户。因为如果我们过多的将坏用户当成好用户，这样后续可能发生的违约金额会远超过好用户偿还的借贷利息金额，造成严重偿失。召回率越高，代表实际坏用户被预测出来的概率越高，它的含义类似：宁可错杀一千，绝不放过一个。

5. 精准率和召回率的关系，F1分数
通过上面的公式，我们发现：精准率和召回率的分子是相同，都是TP，但分母是不同的，一个是（TP+FP），一个是（TP+FN）。两者的关系可以用一个P-R图来展示：
因此，如果我们想要根据这个概率判断用户好坏的话，我们就必须定义一个阈值。通常来讲，逻辑回归的概率越大说明越接近1，也就可以说他是坏用户的可能性更大。比如，我们定义了阈值为0.5，即概率小于0.5的我们都认为是好用户，而大于0.5都认为是坏用户。因此，对于阈值为0.5的情况下，我们可以得到相应的一对查准率和查全率。
这个阈值是我们随便定义的，我们并不知道这个阈值是否符合我们的要求。因此，为了找到一个最合适的阈值满足我们的要求，我们就必须遍历0到1之间所有的阈值，而每个阈值下都对应着一对查准率和查全率，从而我们就得到了这条曲线。

F1分数
但通常，如果想要找到二者之间的一个平衡点，我们就需要一个新的指标：F1分数。F1分数同时考虑了查准率和查全率，，让二者同时达到最高，取一个平衡。F1分数的公式为 = 2*查准率*查全率 / (查准率 + 查全率)。

||ROC/AUC的概念

1. 灵敏度，特异度，真正率，假正率
在正式介绍ROC/AUC之前，我们还要再介绍两个指标，这两个指标的选择也正是ROC和AUC可以无视样本不平衡的原因。
灵敏度（Sensitivity） = TP/(TP+FN) //正样本中预测为正的比率
特异度（Specificity） = TN/(FP+TN) //负样本中预测为负的比率

@其实我们可以发现灵敏度和召回率是一模一样的，只是名字换了而已。
@由于我们比较关心正样本，所以需要查看有多少负样本被错误地预测为正样本，所以使用（1-特异度），而不是特异度。

真正率（TPR） = 灵敏度 = TP/(TP+FN)
假正率（FPR） = 1- 特异度 = FP/(FP+TN)

**它们分别在实际的正样本和负样本中来观察相关概率问题。**正因为如此，所以无论样本是否平衡，都不会被影响。例如，总样本中，90%是正样本，10%是负样本。我们知道用准确率是有水分的，但是用TPR和FPR不一样。

或者我们也可以从另一个角度考虑：条件概率。我们假设X为预测值，Y为真实值。那么就可以将这些指标按条件概率表示：
精准率 = P（Y=1 | X=1）
召回率 = 灵敏度 = P（X=1 | Y=1）
特异度 = P（X=0 | Y=0）
从上面三个公式看到：如果我们先以实际结果为条件（召回率，特异度），那么就只需考虑一种样本，而先以预测值为条件（精准率），那么我们需要同时考虑正样本和负样本。所以先以实际结果为条件的指标都不受样本不平衡的影响，相反以预测结果为条件的就会受到影响。

2. ROC（接受者操作特征曲线）
ROC曲线中的主要两个指标就是真正率和假正率，上面也解释了这么选择的好处所在。其中横坐标为假正率（FPR），纵坐标为真正率（TPR），下面就是一个标准的ROC曲线图。
与前面的P-R曲线类似，ROC曲线也是通过遍历所有阈值来绘制整条曲线的。TPR越高，同时FPR越低（即ROC曲线越陡），那么模型的性能就越好。

3. AUC（曲线下的面积）
曲线下面积（Area Under Curve）。比较有意思的是，如果我们连接对角线，它的面积正好是0.5。对角线的实际含义是：随机判断响应与不响应，正负样本覆盖率应该都是50%，表示随机效果。ROC曲线越陡越好，所以理想值就是1，一个正方形，而最差的随机判断都有0.5，所以一般AUC的值是介于0.5到1之间的。

AUC的物理意义

假设分类器的输出是样本属于正类的score(置信度)，则AUC的物理意义为，任取一对（正、负）样本，正样本的得分大于负样本的概率。

AUC的一般判断标准
0.5 - 0.7：效果较低，但用于预测股票已经很不错了
0.7 - 0.85：效果一般
0.85 - 0.95：效果很好
0.95 - 1：效果非常好，但一般不太可能