TP，FP，TN，FN，FAR，FRR，HTER等常见实验指标理解

已于 2022-08-29 16:20:14 修改
阅读量1.2w 收藏 38
点赞数 6
分类专栏： 深度学习 文章标签： 深度学习 图像处理
于 2022-03-21 20:08:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42363544/article/details/123640963
版权

目录

一、TP，TN，FP，FN

二、FAR，FRR

三、Recall，Precision，Accuracy

四、ROC，TPR，FPR，AUC

五、HTER，EER

 六、APCER，NPCER（BPCER），ACER

一、TP，TN，FP，FN

        前面的字母表示这次预测的结果是正确还是错误（T就是预测结果是对的，F就是预测结果是错误的），后面的字母表示这次预测结果（P就是预测的结果是正类，N就是预测的结果为负类）。

        比如TP，表面意思是正确（True）的正例（Positive），即标签是x，预测也是x （P和N表示两种类别），全称叫True Positive，其它三个同理。

  • TP：被模型预测为正类的正样本（原本是正样本，预测为正样本）
  • TN：被模型预测为负类的负样本（原本是负样本，预测为负样本）
  • FP：被模型预测为正类的负样本（原本是负样本，预测为正样本）
  • FN：被模型预测为负类的正样本（原本是正样本，预测为的负样本）
实际情况预测情况
正例反例
正例TPFN
反例FPTN

二、FAR，FRR

        FAR和FRR全称分别为False Accept Rate（误识率）和False Rejection Rate（拒识率）。

        FAR：错误地接受，即将错误的判别为正确的，实际的标签为N，但是预测错误为P，所以对应FP。

        FAR=\frac{FP}{FP+TN}

        数据集中标签为N，但预测为P的样本占数据集中所有标签为N的比例。

        注：有的论文也会将FAR写作FMR（False match rate）。

        FRR：错误地拒绝，即将正确的判别为错误的，实际的标签为P，但是预测错误为N，所以对应FN。

FRR=\frac{FN}{FN+TP}

        数据集中标签为P，但预测为N的样本占数据集中所有标签为P的比例。 

        注：有的论文也会将FRR写作FNMR（False non-match rate)。

三、Recall，Precision，Accuracy

        Recall：召回率，即实际为P的样本中预测为P的样本的占比，越大越好。

        Recall=\frac{TP}{TP+FN}

                可以得到：

                Recall+FRR=1

        Precision：准确率、精度，即从预测的角度出发，被分为正例的样本中实际为正例的比例。

Precision=\frac{TP}{TP+FP}

        Accuracy：准确率，即所有样本中预测正确的占比，计算方式为被分对的样本数除以总的样本数，通常来说，正确率越高，分类器越好。但是在正负样本不平衡的情况下，这个评价指标有很大缺陷。如在互联网广告里面，点击的数量是很少的，一般只有千分之几，如果用acc，即使全部预测成负类（不点击）acc也有 99% 以上，没有意义。

Accuracy=\frac{TP+TN}{TP+TN+FP+TN}

四、ROC，TPR，FPR，AUC

        ROC：受试者工作特征曲线(receiver operating characteristic curve，简称ROC曲线)，又称为感受性曲线(sensitivity curve)。   

        TPR：真正类率，即所有正样本中被分类器预测为正样本的个数。

TPR=\frac{TP}{TP+FN}

        FPR：假正类率，即所有负样本中被分类器预测为正样本的个数。

FPR=\frac{FP}{FP+TN}

        ROC曲线，其横坐标是FPR,纵坐标是TPR。

        需要注意，虽然TPR和FPR看起来没有关系，因为一个计算的是正样本，一个计算的是负样本，而样本总数是固定的。但阈值的选定会影响TPR和FPR的值。

        在理想情况下，我们都希望一个分类器能够将所有的正类均正确分类对应TPR=1，并将所有的负类也正确分类对应FPR=0。因此，ROC曲线越靠拢（0，1）点，越偏离45度对角线越好。

        ROC本质上就是在设定某一阈值之后，计算出该阈值对应的TPR 和 FPR，便可以绘制出ROC曲线上的一个点。其正是通过不断移动分类器的“正例阈值”来生成曲线上的一组关键点的。

        AUC(Area Under Curve)：为ROC曲线下方的面积大小。显然，AUC越大，预测效果越好，一般AUC取值范围一般在0.5和1之间。

        使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。

  1. AUC=1，是完美分类器，采用这个预测模型时，不管设定什么截断点都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
  2. 0.5<AUC<1，优于随机猜测。这个预测模型妥善设定截断点的话，能有预测价值。
  3. AUC=0.5，跟随机猜测一样（例：抛硬币），模型没有预测价值。
  4. AUC<0.5，比随机猜测还差，但只要总是反预测而行，就优于随机预测。

五、HTER，EER

        HTER：Half Total Error Rate，将FAR和FRR都考虑进去，通常应用于活体检测中。

HTER=\frac{FAR+FRR}{2}
                                ​​​​​              

         EER：Equal Error Rate，指当阈值取某个值是FPR=TRR，此时该值即为EER。

 六、APCER，NPCER（BPCER），ACER

        在活体检测中，通常将攻击视为正样本，而真实人脸视为负样本。

        APCER：Attack Presentation Classification Error Rate，将攻击（正样本）识别为真实人脸（负样本），即将攻击错误分类。与FRR计算方式相同。

        APCER=\frac{FN}{FN+TP}

        NPCER：Normal Presentation Classification Error Rate，将真实人脸（负样本）识别为攻击（正样本），即将真实样本错误分类。与FAR计算方式相同。

NPCER=\frac{FP}{FP+TN}

        ACER：Average Classification Error Rate，平均分类错误率。

        ACER=\frac{APCER+NPCER}{2}

References：

如何理解TP,FP,TN,FN,FAR,FRR，HTER等变量 - 程序员大本营

[深度概念]·评估指标EER(Equal Error Rate)介绍_小宋是呢的博客-CSDN博客_equal error rate

https://www.quora.com/How-can-I-understand-the-EER-Equal-Error-Rate-and-why-we-use-it

机器学习：准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲线、PR曲线_nana-li的博客-CSDN博客_recall 如何理解误识率（FAR）拒识率（FRR），TPR,FPR以及ROC曲线_2014wzy的博客-CSDN博客_far frr

MaZhe丶
关注
  • 6
    点赞
  • 踩
  • 38
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
万字长文精解目标检测中的TP、FP、FN、TN、Precision、Recall 、 F1 Score、AP、mAP与AR 。附代码实现。
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-16 4605
mAP（Mean Average Precision）是用于评估对象检测和信息检索系统性能的重要指标。它综合考虑了检测结果的精确度（Precision）和召回率（Recall），提供了一个整体的性能评价。你是否见过下面的表格？这是COCO版本的mAP（即平均精度，他们简称之为AP）。但这个指标到底代表什么呢？这些符号又都代表什么含义呢？在本文中，我们将详细讲解所有必要的理论知识，不仅帮助你解读表格中的数据，还能让你理解采用这种复杂指标的必要性。
【模型评估】混淆矩阵（confusion_matrix）之 TP、FP、TN、FN；敏感度、特异度、准确率、精确率
钱多多先森
06-08 7389
对基于固定阈值的混淆矩阵进行了详尽的介绍和代码展示，包括依次引申出来的各个评价指标
TP、TN、FP、FN超级详细解析
热门推荐
奋斗の博客
11-21 9万+
以西瓜数据集为例，我们来详细解释一下什么是TP、TN、FP以及FN。 一、基础概念 TP：被模型预测为正类的正样本 TN：被模型预测为负类的负样本 FP：被模型预测为正类的负样本 FN：被模型预测为负类的正样本 二、通俗理解（以西瓜数据集为例） 以西瓜数据集为例，我们来通俗理解一下什么是TP、TN、FP、FN。 TP：被模型预测为好瓜的好瓜（是真正的好瓜，而且也被模型预测为好瓜） TN：被模型预测为坏瓜的坏瓜（是真正的坏瓜，而且也被模型预测为坏瓜） FP：被模型预测为好瓜的坏瓜（瓜是真正的坏瓜，但是
一文记住什么是TP/TN/FP/FN？
qq_65052774的博客
10-25 5111
这些工具和指标提供了评估和比较不同模型性能的方法，帮助研究者和工程师确定哪个模型在特定任务上的性能最好。而在实践中，根据应用的具体需求，可能需要关注某些指标多于其他指标。例如，医学测试中的 FN 可能比 FP 更为关键，因为遗漏一个病例的后果可能比误诊更严重。
多分类中混淆矩阵的TP,TN,FN,FP计算
m0_62919535的博客
09-16 4014
创建混淆矩阵# 寻找GT中为目标的像素索引# 统计像素真实类别t[k]被预测成类别p[k]的个数@property"""计算混淆矩阵的TN, FP, FN, TP"""if n == 2:if n > 2:"""主要在eval的时候使用,你可以调用ravel获得TN, FP, FN, TP, 进行其他指标的计算计算全局预测准确率(混淆矩阵的对角线为预测正确的个数)计算每个类别的准确率计算每个类别预测与真实目标的iou,IoU = TP / (TP + FP + FN)"""
TP、TN、FP、FN
sslfk的博客
03-01 4941
P/N：表示模型预测的结果积极或消极。 T/F：表示模型预测的结果正确或错误。 所以 TP：表示模型预测为positive是准确的 TN：表示模型预测为negtive是正确的 FP：表示模型预测为positive是错误的 FN：表示模型预测为negtive是错误的 准确率（accuracy）=(TP + TN)/(TP+TN+FP+FN)，表示模型预测准确的概率 查准率-精准率(Precision) = TP/(TP+FP)，表示预测为positve的结果中预测正确所占的比例 查全率-
基于FAR和FRR融合的多模态生物特征识别
02-24
通过多生物特征识别融合可以显著地改善系统的识别性能,在多生物特征识别中,匹配分数级融合最常用....将本文方法与几种有代表性的方法进行实验比较,结果表明,这种新融合模式可以有效地改进多生物特征识别系统的性能.
frr-9.0.1 include lib
10-27
标题中的“frr-9.0.1 include lib”指的是FRRouting软件的9.0.1版本，其中包含了库（lib）文件。FRRouting（简称FRR）是一款开源...对于开发者和系统管理员来说，理解这些库的作用和它们如何集成到FRR中是非常重要的。
基于华为系列的路由器交换机组网实验拓扑文件以及命令行脚本，含ACL 2000 访问控制实验 ，OSPF IP FRR实验等
最新发布
04-17
基于华为系列的路由器交换机组网实验拓扑文件以及命令行脚本，含ACL 2000 访问控制实验 ，OSPF IP FRR实验 ，OSPF area 0 网段互通 ，华为防火墙访问互通 ，聚合Vlan(arp代理实现互通)
frr-devtools:用于FRR的开发工具，脚本，配置文件等
03-06
frr-devtools 用于FRR的开发工具，脚本，配置文件等 目录清单 Bear-Build EAR的子模块，用于生成编译数据库 cocci-Coccinelle语义补丁 消毒-与ASAN / MSAN / TSAN相关的内容 脚本-安装脚本，重构脚本等
LDP FRR技术白皮书
11-24
LDP FRR技术白皮书 LDP FRR 技术白皮书是关于 MPLS 网络可靠性的技术白皮书，介绍了 LDP FRR 的技术原理...LDP FRR 技术白皮书详细介绍了 LDP FRR 技术的技术原理和优势，能够帮助读者更好地理解和应用 LDP FRR 技术。
TP、TN、FP、FN 含义
weixin_40237209的博客
06-30 8135
什么是TP、TN、FP以及FN
“深入理解机器学习性能评估指标：TP、TN、FP、FN、精确率、召回率、准确率、F1-score和mAP”
halo的博客
11-06 5100
通俗来说，准确率回答了“模型总的预测有多准”的问题；召回率回答了“模型对正例的识别能力有多强”的问题；mAP则是用于复杂任务的一个更为全面的评估指标；而F1-score则是尝试将精确率和召回率结合起来，给我们一个更为综合的评估结果。这些指标可以帮助我们更全面地了解模型的性能，从而选择或优化模型。TP：模型说“这个人有病”，实际上这个人也真的有病。TN：模型说“这个人没病”，实际上这个人也确实没病。FP：模型误诊了健康人为病人。FN：模型漏诊了真正的病人。精确率：模型说“有病”的人中，真正有病的比例。
机器学习中TP，TN，FP，FN，Acc，Pre，Sen, Rec的含义
tangxianyu的博客
10-09 2万+
1、 TP，TN，FP，FN的理解 定义 第一个字母T/F代表预测的结果是否和实际情况相符：即如果真实情况为正样本（P），预测为正样本（P），则为T；如果真实情况为负样本（N），预测为负样本（N），则为T；如果真实情况为P，预测为N，则为F；如果真实情况为N预测为P，则为F。 第二个字母P/N代表预测结果的正负：如果预测为正样本，则为P；如果预测为负样本，则为N。 TP：true posi...
基础概念——TP、FP、TN、FN、IOU、PR、AP、Interpolated AP、AUC、mAP
jindaxiaoooo的博客
03-11 6027
TP、FP、TN、FN 都是站在预测的立场看的： TP：预测为正是正确的 FP：预测为正是错误的 TN：预测为负是正确的 FN：预测为负是错误的 准确率(accuracy),精确率(Precision)和召回率(Recall) 准确度：分类器正确分类的样本数与总样本数之比 （TP+TN）/ (TP+TN+FP+FN) 精确度：所有被预测为正样本的样本中预测对的比例 (TP) / (TP+NP) 召回率：被正确预测的正样本占所有正样本的比例 （TP）/ (TP+FN) ...
【一文看懂】深度学习中常用的各项评价指标含义TP、FP、TN、FN、Accuracy、Recall、F1、IoU、mIoU
qq_27816785的博客
06-26 9036
无论是对于图像领域的分类、分割问题，亦或点云领域的物体分类、场景分割，在评价一个模型的好坏时，经常涉及TP、FP、TN、FN、IoU、Accuracy。。。等指标进行衡量，那么这些指标是什么意思呢？我请到了鸭子先生、猴子客人和熊猫管家来给大家亲身示范一下。咦！发现10个可爱的小动物，可是我们不知道是什么动物，要不用深度学习分一下类吧？ 这个时候我们直接掏出训练好的，把这些小动物丢进去，一番等待之后，我们有了以下的预测结果： 很明显，模型并没有非常完美的完成任务。但是如何评价它呢？对某一来讲：T = tru
目标检测评估指标
慕溪同学的博客
03-06 2086
大家在看目标检测论文的时候，经常会遇到mAP@0.5或者mAP@[0.5:0.95]和精度等等评估指标，自己最开始在发论文的时候对这些品估指标也总是会产生惯性思维，导致很多概念会混淆，所以也是查阅很多文献和博客去理解，但是很多博主讲的其实也不够通俗，比较偏概念化，最后将自己的理解和查阅到的内容整理了一下并列举相关例子便于大家理解。mAP@0.5，这种形式表示在IOU阈值为0.5的情况下，mAP的值为多少。指的是被分配为负样本，而且分配对了的样本，代表的是被正确分类的负样本，在mAP评价指标中不会使用到。
TP、TN、FP、FN白话解析，看这一篇就够了
Java_Web_Android的博客
11-27 4545
TP、TN、FP、FN通俗易懂 白话理解
TP、TN、FP、FN、map、Precision、Recall
ansf_fei的博客
03-08 1601
TP、TN、FP、FN、map、Precision、Recall
详细解释TP、TN、FP、FN、Recall，以及人脸识别评价指标TAR、FAR、FRR
05-18
TP（True Positive）表示真正例，即模型正确地识别出了正例。 TN（True Negative）表示真负例，即模型正确地识别出了负例。 FP（False Positive）表示假正例，即模型错误地将负例识别为正例。...FRR = FN / (TP + FN)
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值