机器学习/深度学习入门：准确率(查准率)、召回率(查全率)、F值和误识率（FAR）、拒识率（FRR）、ROC曲线

最新推荐文章于 2024-04-27 13:31:32 发布
最新推荐文章于 2024-04-27 13:31:32 发布
阅读量1.1w 收藏 46
点赞数 7
分类专栏： 机器学习/深度学习

准确率(查准率)、召回率(查全率)、F值

正确率、召回率和F值是目标的重要评价指标。

  • 正确率 = 正确识别的个体总数 / 识别出的个体总数 
  • 召回率 = 正确识别的个体总数 / 测试集中存在的个体总数 
  • F值 = 正确率 * 召回率 * 2 / (正确率 + 召回率)

假设要识别照片中的狗的，在一些照片中，包含12只狗的照片和一些猫的照片。算法识别出有8只狗。在确定的8只狗中，5只实际上是狗（真阳性TP），而其余的是猫（假阳性FP）。该程序的精度为5/8，而其召回率为5/12。

不妨举这样一个例子：某池塘有1400条鲤鱼，300只虾，300只鳖。现在以捕鲤鱼为目的。Seaeagle撒一大网，逮着了700条鲤鱼，200只虾，100只鳖。那么，这些指标分别如下：
正确率 = 700 / (700 + 200 + 100) = 70% 
召回率 = 700 / 1400 = 50% 
F1值 = 70% * 50% * 2 / (70% + 50%) = 58.3%

不妨看看如果Seaeagle把池子里的所有的鲤鱼、虾和鳖都一网打尽，这些指标又有何变化： 
正确率 = 1400 / (1400 + 300 + 300) = 70% 
召回率 = 1400 / 1400 = 100% 
F1值 = 70% * 100% * 2 / (70% + 100%) = 82.35% 

由此可见，正确率是评估捕获的成果中目标成果所占得比例；召回率，顾名思义，就是从关注领域中，召回目标类别的比例；而F值，则是综合这二者指标的评估指标，用于综合反映整体的指标。

下面有关分类算法的准确率，召回率，F1 值的描述，错误的是？ C

A.准确率是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率
B.召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率
C.正确率、召回率和 F 值取值都在0和1之间，数值越接近0，查准率或查全率就越高
D.为了解决准确率和召回率冲突问题，引入了F1分数

 

误识率（FAR）、拒识率（FRR）、ROC曲线

平时在做指纹、人脸识别时，会用到一些评价算法性能评价指标。常见的当属以下几种指标：

  • 误识率（FAR，false acceptance rate）
  • 拒识率（FRR，false rejection rate）
  • ROC曲线（Receiver Operator characteristic Curve）

其中误识率与拒识率的就算公式如下： 

è¿éåå¾çæè¿°

说白一些，假定在指纹匹配识别过程中： 

  • 误识率（FAR）是指在标准指纹数据库上测试指纹识别算法时，不同指纹的匹配分数大于给定阈值，从而被认为是相同指纹的比例，简单地说就是“把不应该匹配的指纹当成匹配的指纹”的比例。 
  • 拒识率（FRR）是指在标准指纹数据库上测试指纹识别算法时，相同指纹的匹配分数低于给定阈值，从而被认为是不同指纹的比例，简单地说就是 “把应该相互匹配成功的指纹当成不能匹配的指纹”的比例。 

假定有110个人，每人的大拇指的8幅指纹图片共110*8=880幅的指纹数据库，即110类，每类8幅图片。当然，我们希望类内的任意两幅图片匹配成功，类间的任意图片匹配失败。现在我们让库中的每一幅图片除开它自身之外与其他的所有图片进行匹配，分别计算误识率，与拒识率。

误识率（FAR）：假定由于指纹识别算法性能的原因，把本应该匹配失败的判为匹配成功，若假定这种错误次数为1000次。理论情况下，来自同一个指纹的图像都成功匹配，次数为7*8*110=6160次，匹配的总次数，即880×(880-1)=773520次。匹配失败次数应为773520-6160=767360次。则误识率FAR为1000/767360*100%=0.13%。

拒识率（FRR）：假定由于指纹识别算法性能的原因，把本应该匹配成功的判为匹配失败，若这种错误次数为160次。则拒识率为160/6160=2.6%.

在有些文献中将误识率表达为FMR（False match rate），以及将拒识率表达为FNMR（False non-match rate)，这和本文中所讲到的误识率与拒识率是同一个意思，即：误识率：FAR=FMR、拒识率：FRR=FNMR

可以用以下这图加深理解： 

è¿éåå¾çæè¿°

ROC曲线（Receiver Operator characteristic Curve）是一种已经被广泛接受的系统匹配算法测试指标，它是匹配分数阈值、误识率以及拒识率之间的一种关系。它反映了识别算法在不同阈值上，拒识率和误识率的平衡关系。 下图给出了ROC曲线，其中横坐标是拒识率，纵坐标是误识率，等错误率（EER Equal-Error Rate）是拒识率和误识率的一个平衡点，等错误率能够取到的值越低，表示算法的性能越好。 

è¿éåå¾çæè¿°

二分类ROC和AUC

ROC

在另外的一些二分类模式识别，如人脸验证中，ROC 关注常关注两个指标： 

  • True Positive(真正, TP)：将正类预测为正类数. 
  • True Negative(真负 , TN)：将负类预测为负类数. 
  • False Positive(假正, FP)：将负类预测为正类数 → 误报 (Type I error). 
  • False Negative(假负 , FN)：将正类预测为负类数 →漏报 (Type II error).

直观上，TPR 代表能将正例分对的概率，FPR 代表将负例错分为正例的概率。在 ROC 空间中，每个点的横坐标是 FPR：FP/(FP+TN)，纵坐标是 TPR：TP/(TP+FN)，这也就描绘了分类器在 TP（真正率）和 FP（假正率）间的 trade-off2。 

TPR为纵轴，FPR为横轴（希望FPR越小越好，TPR越大越好）

点(0,1)，所有的预测都正确了；点(1,0)，所有的预测都预测错了。点(0,0)，所有的样本都预测为负。点(1,1)，所有的样本都预测为正。如果一个点越接近左上角，那么说明模型的预测效果越好。通过更改分类阈值来得到ROC。

  • 阈值的范围是[0,1]，当阈值从1到0慢慢移动时，FPR会越来越大。因为FP(假正例)会越来越多。
  • 事实上，ROC曲线不是光滑的，而是阶梯型的。为什么呢？因为样本的数量是有限的，而FPR和TPR的变化需要至少有一个样本变化了，在没有变化的间隙里，就不会有变化。也就是说，步进是1/样本数。

AUC

假设我们有一个分类器，输出是样本输入正例的概率，所有的样本都会有一个相应的概率，这样我们可以得到下面这个图： 
 这里写图片描述 
其中，横轴表示预测为正例的概率，纵轴表示样本数。 
所以，蓝色区域表示所有负例样本的概率分布，红色样本表示所有正例样本的概率分布。显然，如果我们希望分类效果最好的话，那么红色区域越接近1越好，蓝色区域越接近0越好。

为了验证你的分类器的效果。你需要选择一个阈值，比这个阈值大的预测为正例，比这个阈值小的预测为负例。如下图： 
 这里写图片描述 
在这个图中，阈值选择了0.5于是左边的样本都被认为是负例，右边的样本都被认为是正例。可以看到，红色区域与蓝色区域是有重叠的，所以当阈值为0.5的时候，我们可以计算出准确率为90%.

好，现在我们来引入ROC曲线。 

这里写图片描述
图中左上角就是ROC曲线，其中横轴就是前面说的FPR(False Positive Rate)，纵轴就是TPR(True Positive Rate)。 
然后我们选择不同的阈值时，就可以对应坐标系中一个点。

 这里写图片描述 
当阈值为0.8时，对应上图箭头所指的点。

 这里写图片描述 
当阈值为0.5时，对应上图箭头所指的点。

这样，不同的阈值对应不同的点。最后所有的点就可以连在一起形成一条曲线，就是ROC曲线。

现在我们来看看，如果蓝色区域与红色的区域发生变化，那么ROC曲线会怎么变呢？ 
 这里写图片描述 
上图中，蓝色区域与红色区域的重叠部分不多，所以可以看到ROC曲线距离左上角很近。

 这里写图片描述 
但是，当蓝色区域与红色区域基本重叠时，ROC曲线就和接近y=x这条线了。

综上两个图，如果我们想要用ROC来评估分类器的分类质量，我们就可以通过计算AUC（ROC曲线下的面积）来评估了，这就是AUC的目的。其实，AUC表示的是正例排在负例前面的概率。 
 这里写图片描述 
比如上图，第一个坐标系的AUC值表示，所有的正例都排在负例的前面。第二个AUC值，表示有百分之八十的正例排在负例的前面。

我们知道阈值可以取不同，也就是说，分类的结果会受到阈值的影响。如果使用AUC的话，因为阈值变动考虑到了，所以评估的效果更好。

另一个好处是，ROC曲线有一个很好的特性：当测试集中的正负样本分布发生变化了，ROC曲线可以保持不变。在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化。 

多分类下的ROC曲线和AUC

        由于ROC曲线是针对二分类的情况，对于多分类问题，ROC曲线的获取主要有两种方法：

        假设测试样本个数为m，类别个数为n（假设类别标签分别为：0，2，...，n-1）。在训练完成后，计算出每个测试样本的在各类别下的概率或置信度，得到一个[m， n]形状的矩阵P，每一行表示一个测试样本在各类别下概率值（按类别标签排序）。相应地，将每个测试样本的标签转换为类似二进制的形式，每个位置用来标记是否属于对应的类别（也按标签排序，这样才和前面对应），由此也可以获得一个[m， n]的标签矩阵L。

         比如n等于3，标签应转换为：

        方法1：每种类别下，都可以得到m个测试样本为该类别的概率（矩阵P中的列）。所以，根据概率矩阵P和标签矩阵L中对应的每一列，可以计算出各个阈值下的假正例率（FPR）和真正例率（TPR），从而绘制出一条ROC曲线。这样总共可以绘制出n条ROC曲线。最后对n条ROC曲线取平均，即可得到最终的ROC曲线。

        方法2：首先，对于一个测试样本：1）标签只由0和1组成，1的位置表明了它的类别（可对应二分类问题中的‘’正’’），0就表示其他类别（‘’负‘’）；2）要是分类器对该测试样本分类正确，则该样本标签中1对应的位置在概率矩阵P中的值是大于0对应的位置的概率值的。基于这两点，将标签矩阵L和概率矩阵P分别按行展开，转置后形成两列，这就得到了一个二分类的结果。所以，此方法经过计算后可以直接得到最终的ROC曲线。

       上面的两个方法得到的ROC曲线是不同的，当然曲线下的面积AUC也是不一样的。 在python中，方法1和方法2分别对应sklearn.metrics.roc_auc_score函数中参数average值为'macro'和'micro'的情况。

      下面以方法2为例，直接上代码，概率矩阵P和标签矩阵L分别对应代码中的y_score和y_one_hot：

#!/usr/bin/python
# -*- coding:utf-8 -*-
 
import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegressionCV
from sklearn import metrics
from sklearn.preprocessing import label_binarize
 
if __name__ == '__main__':
    np.random.seed(0)
    data = pd.read_csv('iris.data', header = None)  #读取数据
    iris_types = data[4].unique()
    n_class = iris_types.size
    x = data.iloc[:, :2]  #只取前面两个特征
    y = pd.Categorical(data[4]).codes  #将标签转换0,1,...
    x_train, x_test, y_train, y_test = train_test_split(x, y, train_size = 0.6, random_state = 0)
    y_one_hot = label_binarize(y_test, np.arange(n_class))  #装换成类似二进制的编码
    alpha = np.logspace(-2, 2, 20)  #设置超参数范围
    model = LogisticRegressionCV(Cs = alpha, cv = 3, penalty = 'l2')  #使用L2正则化
    model.fit(x_train, y_train)
    print '超参数：', model.C_
    # 计算属于各个类别的概率，返回值的shape = [n_samples, n_classes]
    y_score = model.predict_proba(x_test)
    # 1、调用函数计算micro类型的AUC
    print '调用函数auc：', metrics.roc_auc_score(y_one_hot, y_score, average='micro')
    # 2、手动计算micro类型的AUC
    #首先将矩阵y_one_hot和y_score展开，然后计算假正例率FPR和真正例率TPR
    fpr, tpr, thresholds = metrics.roc_curve(y_one_hot.ravel(),y_score.ravel())
    auc = metrics.auc(fpr, tpr)
    print '手动计算auc：', auc
    #绘图
    mpl.rcParams['font.sans-serif'] = u'SimHei'
    mpl.rcParams['axes.unicode_minus'] = False
    #FPR就是横坐标,TPR就是纵坐标
    plt.plot(fpr, tpr, c = 'r', lw = 2, alpha = 0.7, label = u'AUC=%.3f' % auc)
    plt.plot((0, 1), (0, 1), c = '#808080', lw = 1, ls = '--', alpha = 0.7)
    plt.xlim((-0.01, 1.02))
    plt.ylim((-0.01, 1.02))
    plt.xticks(np.arange(0, 1.1, 0.1))
    plt.yticks(np.arange(0, 1.1, 0.1))
    plt.xlabel('False Positive Rate', fontsize=13)
    plt.ylabel('True Positive Rate', fontsize=13)
    plt.grid(b=True, ls=':')
    plt.legend(loc='lower right', fancybox=True, framealpha=0.8, fontsize=12)
    plt.title(u'鸢尾花数据Logistic分类后的ROC和AUC', fontsize=17)
    plt.show()

      实验输出结果：

       可以从上图看出，两者计算结果一致！      

        实验绘图结果：

M_Z_G_Y
关注
  • 7
    点赞
  • 踩
  • 46
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
准确率、召回率、F1是如何确定的
影子
12-23 3943
其中，真实为正例且被预测为正例的样本数为真正例（True Positive, TP），真实为负例但被误预测为正例的样本数为假正例（False Positive, FP），真实为负例且被预测为负例的样本数为真负例（True Negative, TN），真实为正例但被误预测为负例的样本数为假负例（False Negative, FN）。现在以捕鲤鱼为目的。撒一大网，逮着了700条鲤鱼，200只虾，100只鳖。= 正确率 * 召回率 * 2 / (正确率 + 召回率) （F 值即为正确率和召回率的调和平均值）
精准率和召回率
CSDN_of_ding的博客
09-29 8775
其中， TP：样本为正，预测结果为正； FP：样本为负，预测结果为正； TN：样本为负，预测结果为负； FN：样本为正，预测结果为负。 准确率、精准率和召回率的计算公式如下： 准确率（accuracy）： (TP + TN )/( TP + FP + TN + FN) 精准率（precision）：TP / (TP + FP)，正确预测为正占全部预测为正的比例 召回率（recall）： TP / (TP + FN)，正确预测为正占全部正样本的比例 F-measure：precision和recall调和均.
机器学习 | 准确率、召回率、精准率、特异度傻傻分不清？ROC曲线怎么看？一篇文章帮你搞定
最新发布
Huiwen18的博客
04-27 2394
提高召回率是为了少漏报；提高精准率是为了少错报。ROC曲线纵轴为真正率，横轴为假正率
一文读懂准确率、精准率、召回率、ROC、AUC、F1值
cz的博客
01-18 1万+
准确率，精准率，召回率 分类问题中的混淆矩阵如下 TP： 预测为1，预测正确，即实际1 FP： 预测为1，预测错误，即实际0 FN： 预测为0，预测错确，即实际1 TN： 预测为0，预测正确即，实际0 准确率 accuracy 准确率的定义是预测正确的结果占总样本的百分比，其公式如下： 准确率=(TP+TN)/(TP+TN+FP+FN) 虽然准确率可以判断总的正确率，但是在样本不平衡 的情况下，并不能作为很好的指标来衡量结果。举个简单的例子，比如在一个总样本中，正样本占90%，负样本占10%，样本是严重不
准确率和召回率(precision&recall)
Duplan的专栏
08-23 2万+
算法评价指标：准确率和召回率。
准确率、精准率和召回率的理解
热门推荐
L.Z.的博客
09-29 7万+
            我们在在分类任务时，经常会对模型结果进行评估。评估模型好坏的指标有AUC、KS值等等。这些指标是通过预测概率进行计算的。而准确率、精准率和召回率也通过混淆矩阵计算出来的。下图是对混淆矩阵的介绍：     其中， TP：样本为正，预测结果为正； FP：样本为负，预测结果为正； TN：样本为负，预测结果为负； FN：样本为正，预测结果为负。 准确率、精准率和...
准确率-召回率 - Precision-Recall
BerryBC的三世书
10-19 6041
Precision-Recall 准确率-召回率 本文翻译自 Precision-Recall
准确率、精确率、召回率、F1值、ROC/AUC整理笔记
weixin_42483745的博客
05-03 1万+
文章目录前言一、TP、TN、FP、FN概念二、准确率、精确率（精准率）、召回率、F1值1.准确率（Accuracy）2.精确率（Precision）查准率3.召回率（Recall）查全率4.F1值（H-mean值）三、ROC曲线、AUC值1.ROC曲线2.AUC值总结 前言 案例代码https://github.com/2012Netsky/pytorch_cnn/blob/main/4_time_series_bikes.ipynb 对于分类问题，机器预测的和实际的还是会有所偏差，所以我们引入以下几个概
精确率、准确率、召回率
koukou的博客
12-02 4331
一 、准确率 (Accuracy) 准确率是对总体样本的评判 概念 判断器的判断是否正确（正确包含两个方面）: 1 正样本判断为正 2 负样本判断为负 计算公式 Precision = （样本中判断正确的数量）/ （总体样本数量） 二 、精确率(Precision) 精确率是对预测结果的评判 计算公式 Precision = （预测结果中正真的正例数）/ （预测结果中的正例数） 预测结果中的正例数 （正例数包含两个方面） 1 正的预测为正的 2 负的预测为正的 三 、 召回率
机器学习的评价指标：准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲线等
Never-Giveup的博客
09-14 1万+
在介绍指标前必须先了解“混淆矩阵”： 混淆矩阵 True Positive(真正，TP)：将正类预测为正类数 True Negative(真负，TN)：将负类预测为负类数 False Positive(假正，FP)：将负类预测为正类数误报 (Type I error) False Negative(假负，FN)：将正类预测为负类数→漏报 (Type II error) 1、准确...
机器学习评估指标汇总：准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲线、PR曲线
abele280的博客
04-13 652
摘要： 数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)简介。 引言： 在机器学习、数据挖掘、推荐系统完成建模之后，需要对模型的效果做评价。 业内目前常常采用的评价指标有**准确率(Precision)、召回率(Recall)、F值(F-Measure)**等，下图是不同机器学习算法的评价指标。下文讲对其中某些指标做简要介绍...
机器学习 之评估指标 召回率，查准率，F1分数(f1值)
01-07
1、召回率：评价模型的完整性 预测样本中的预测正确的信息条数/总样本中所有的属于这类样本的信息条数 举例： 这里用鱼和虾举例 TP： 将鱼预测为鱼 FP: 将虾预测为鱼 FN: 将鱼预测虾 TN： 将虾预测为虾 召回率R = TP...
机器学习基础概念：查准率、查全率、ROC、混淆矩阵、F1-Score 机器学习实战：分类器
12-21
查准率和查全率通常存在权衡关系，提高查全率可能会导致查准率下降，反之亦然。 混淆矩阵是评估分类器性能的直观工具，它展示了一个二维表格，列出了实际类别和预测类别之间的对应关系，包括真正例(TP)、假正例(FP)...
机器学习/深度学习：income数据集
07-21
在机器学习和深度学习领域，数据集是训练和评估模型的基础。"income数据集"是一个广泛使用的数据集，尤其适用于初学者和专业人士进行预测建模。这个数据集通常包含多种特征，用于预测个体的收入是否超过50,000美元...
Pytorch 计算误判率,计算准确率,计算召回率的例子
09-18
在机器学习和深度学习中，评估模型性能的关键指标包括误判率、准确率和召回率。PyTorch 是一个流行的深度学习框架，它提供了一种灵活的方式来计算这些指标。以下是对这些概念的详细解释。 **准确率(Accuracy)**： ...
准确率，精准率，召回率，真正率，假正率，ROC/AUC
chase
08-24 3万+
准确率，精准率，召回率，真正率，假正率，ROC/AUC
准确率（accuracy）、召回率（recall）的意义和区别
sky8336的博客
02-07 4734
准确率（accuracy）、召回率（recall）的意义和区别 对于准确率和召回率：一句话，准确率就是“找的对”，召回率就是“找的全” （精确率：正样本中找对的准确率） 参考以下图示： 区域A：能检索到；想得到 区域B：能检索到；不想得到 区域C：未检索到；想得到 区域D：未检索到；不想得到 注：准确率和召回率互相影响，理想状态下肯定追求两个都高，但是实际情况是两者相互“制约”：追求准确率高，则召回率就低；追求召回率高，则通常会影响准确率。若两者都低，则一般是出了某种问题。 一组不同阈值下，准确率和召回率
机器学习中的准确率与召回率的理解和总结
王文强的博客
10-08 2万+
作为遇到偏斜类问题评估度量值，在很多应用中我们希望保证查准率和召回率的相对平衡。   1、两个最常见的衡量指标是“准确率（precision）”（你给出的结果有多少是正确的）和“召回率（recall）”（正确的结果有多少被你给出了） 这两个通常是此消彼长的（trade off），很难兼得。当我们二分类的临界值是设置的较高时，会得到一个高准确率和低召回率。当我们的二分类的临界值设置较低时，...
准确率和召回率
2301_81272932的博客
11-21 474
例如，在癌症诊断中，如果一个模型的准确率非常高，但是它没有识别出所有的癌症患者，那么这个模型的召回率就会很低。相反，如果一个模型的召回率非常高，但是它错误地诊断了许多非癌症患者，那么这个模型的准确率就会很低。，其中TP表示真正的正类，FN表示模型未能识别出的正类。因此，召回率的值也在0到1之间，值越大表示模型能够找出更多的正类。则是用来衡量模型能够找出所有实际存在的正类的比例，即所有真实的正类被模型找出的比例。是用来衡量预测结果中真正为正类的比例，即预测为正类的样本中有多少是真正的正类。
准确率、精确率、召回率
06-05
准确率、精确率、召回率都是用来评估分类模型性能的指标。 准确率是指分类器正确分类的样本数占总样本数的比例，通常用于样本类别比较均衡的情况，其计算公式为：准确率 = (TP+TN)/(TP+TN+FP+FN)，其中TP（True Positive）表示真正例，TN（True Negative）表示真负例，FP（False Positive）表示假正例，FN（False Negative）表示假负例。 精确率是指分类器正确预测为正例的样本数占所有预测为正例的样本数的比例，通常用于关注假正例的情况，其计算公式为：精确率 = TP/(TP+FP)。 召回率是指分类器正确预测为正例的样本数占所有实际为正例的样本数的比例，通常用于关注假负例的情况，其计算公式为：召回率 = TP/(TP+FN)。 需要注意的是，准确率、精确率、召回率三者之间存在着一定的权衡关系。在实际应用中，需要根据具体的问题选择适合的指标或综合考虑多个指标。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值