人工智能性能指标

首先来认识一下混淆矩阵：

TP：表示预测为正例，实际也是正例。

FP：表示预测为正例，实际为负例。

FN：表示预测为负例，实际为正例。

TN：表示预测为负例，实际也为负例。

1. Recall(召回率：覆盖面的度量，度量有多少个实际正例被分为正例）

Recall = TP / ( TP + FN )

2，Precision(精确率：表示预测为正例的样本中有多少是真正的正样本）

Precision=TP/(TP+FP)

3.Accuracy(ACC准确率：表示预测的结果有多少是正确的）

Accuracy=(TP+TN)/(TP+FN+FP+TN)

4,Specificity(TNR特异性：负样本预测结果数/负样本实际数）

TNP=TN/(TN+FP)

Recall和Precision的关系

可以看到召回率的分母是TP+FN，表示正样本的个数，是没有办法改变的，是客观的；那么只有TP发生变化的时候，召回率才会发生变化；因此，当置信度阈值调低之后，会导致很多阈值低的样本被认为是真，当然除了TP会增加，FP也会增加，但是FP并不会影响到召回率的大小，所以召回率会增大，但FP会影响到Precision，并且TP没有TP+FP的增长的快，所以Recall和Precision的关系是此消彼长。

5，F—score:很多时候，我们需要综合权衡这2个指标（召回率，精确率），这就引出了一个新的指标F-Score，这是综合考虑Precision和Recall的调和值。

当β=1时，成为F1-Score，这时召回率和精确率都很重要，权重相同。当有些情况下我们认为精确率更为重要，那就调整 β 的值小于 1 ，如果我们认为召回率更加重要，那就调整 β的值大于1，比如F2-Score。

6,PR曲线（P是精确率，R是召回率，以R为横轴，P为纵轴）

 

一条PR曲线代表一个模型，PR曲线上的点由不同的阈值得到，可以根据PR图选择合适的阈值，也可以通过PR曲线来判断模型的好坏，面积越大，模型越好。

但更常用的是平衡点F1。平衡点（BEP）是P=R时的取值（斜率为1），F1值越大，我们可以认为该学习器的性能较好。

F1 = 2 * P * R ／( P + R )

6,ROC曲线

真正率 TPR：预测为正例且实际为正例的样本占所有正例样本（真实结果为正样本）的比例。

假正率 FPR：预测为正例但实际为负例的样本占所有负例样本（真实结果为负样本）的比例

以FPR为横轴，TPR为纵轴

 

第一个点( 0 , 1 )即FPR=0, TPR=1，这意味着FN（False Negative）=0，并且FP（False Positive）=0。意味着这是一个完美的分类器，它将所有的样本都正确分类。

第二个点( 1 , 0 ) 即FPR=1，TPR=0，意味着这是一个糟糕的分类器，因为它成功避开了所有的正确答案。

第三个点( 0 , 0 ) 即FPR=TPR=0，即FP（False Positive）=TP（True Positive）=0，可以发现该分类器预测所有的样本都为负样本（Negative）。

第四个点( 1 , 1 ) 即FPR=TPR=1，分类器实际上预测所有的样本都为正样本。

我们可以发现越接近于（0，1）我们的模型越好，对应的阈值也是我们要的阈值。

用ROC曲线比较模型：

A,B,C代表3个不同的模型，

AUC值：AUC（Area Under Curve）被定义为ROC曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。