精确率、召回率、F1 值、ROC、AUC等分类模型评价指标含义与作用详解

摘要

在涉及机器学习领域的分类问题时（尤其是衡量推荐系统性能时），经常会遇到诸如准确率、召回率、ROC、AUC等名词。本文就来详细阐述一下各类评价指数的具体含义和特点。

一、精确率、召回率、F函数、准确率和错误率

1、定义

结合混淆矩阵进行说明

1、
**精确率(Precision）**是指在所有系统判定的“真”的样本中，确实是真的的占比，就是TP/(TP+FP)。
**召回率（Recall）**是指在所有确实为真的样本中，被判为的“真”的占比，就是TP/(TP+FN)。

举一个简单的例子：
100箱苹果里面有95箱好的，5箱坏的。（这是事实前提）
于是我将苹果分为了两堆：90箱我认为是好的，另外10箱我认为是坏的。然而实际上，那90箱是87好3坏，那10箱里有8好2坏。
我们将这个例子与混淆矩阵进行对应，可知：
TP（我认为是好的并且确实是好的）= 87；
FP（我认为是好的但实际上是坏的）= 3；
FN（我认为是坏的但实际上是好的）= 8；
TN（我认为是坏的并且确实是坏的）= 2。
则
准确率 = 87/（87+3）;
召回率 = 87/（87+8）
这两个式子分子都是TP（预计对了的好的苹果），分母分别是我认为的所有的好的苹果、实际上所有的好的苹果。

2、准确率与错误率

这个很好理解，准确率就是你区分对了的概率（区分对了包括两种情况——将好苹果分到了好的那一堆（TP）以及将坏苹果分到了坏的那堆（TN）），错误率就是区分错了的。
仍以上面的例子做演示：
准确率 = （87+2）/100；
错误率 = （3+8）/ 100 。

3、F函数