详解机器视觉性能指标相关概念——混淆矩阵、IoU、ROC曲线、mAP等

已于 2023-09-18 14:13:33 修改
阅读量2k 收藏 20
点赞数 14
文章标签： 人工智能 计算机视觉
于 2023-09-16 14:51:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49963403/article/details/132866665
版权

目录

0. 前言

1. 图像分类性能指标

1.1 混淆矩阵(Confusion Matrix)

1.2 准确率(Precision)

1.3 召回率(Recall)

1.4 F1值(F1 score)

1.5 ROC曲线(接收者工作特征曲线，Receiver Operating Characteristic curve)

1.6 mAP(mean Average Precision)

2. 图像分割性能指标

2.1 交并比(IoU, Intersection over Union)

2.2 准确率(Precision)&召回率(Recall)&F1值(F1 score)

2.3 Dice系数(Dice coefficient)

0. 前言

按照国际惯例，首先声明：本文只是我自己学习的理解，虽然参考了他人的宝贵见解，但是内容可能存在不准确的地方。如果发现文中错误，希望批评指正，共同进步。

本文将通过实例系统性说明机器视觉性能相关指标。关于这些指标内容我大体分为2类：图像分类性能指标和图像分割性能指标。

1. 图像分类性能指标

这类指标用于评估模型对图像分类的准确性：能将图像中的对象正确地划分到对应的分类中的比例、漏识别的比例、错误识别的比例等。

1.1 混淆矩阵(Confusion Matrix)

混淆矩阵是这类性能指标的基础。混淆矩阵是有监督学习中用来评估分类模型在测试数据集上的预测能力的一种评估方式。混淆矩阵是一个二维矩阵，其中每一行表示实际标签，每一列表示预测标签。

混淆矩阵的四个基本指标是真阳性（True Positive，TP）、假阳性（False Positive，FP）、真阴性（True Negative，TN）和假阴性（False Negative，FN），分别表示被正确分类的正例、被错误分类的正例、被正确分类的反例和被错误分类的反例的样本数。

下面通过实例来讲解混淆矩阵：假设我们有一个深度学习模型用来识别图像中是否有奥特曼，我们有下面9个测试样本，经过深度学习模型识别后输出如下：

可见，上述4个指标的对应个数分别为：

  • TP（模型预测有奥特曼，真实也有奥特曼）：5
  • TN（模型预测无奥特曼，真实也无奥特曼）：1
  • FP（模型预测有奥特曼，但实际无奥特曼）：2
  • FN（模型预测无奥特曼，但实际有奥特曼）：1

这样对应混淆矩阵为：

判断奥特曼的混淆矩阵真实类别
是否
预测类别是5（TP）2（FP）
否1（FN）1（TN）

上面虽然是用二分类问题（是否问题、有无问题）来举例，但是混淆矩阵也可以扩展用于多分类问题，例如判断图像中的迪迦奥特曼、泰罗奥特曼、赛文奥特曼等。

判断奥特曼的混淆矩阵真实类别
迪迦泰罗……赛文
预测类别迪迦
泰罗
……
赛文
1.2 准确率(Precision)

准确率的数学定义为：

Precision = \frac{TP}{TP+FP}

准确率描述的是：如果模型输出为“是”，实际有多少比例真实为“是”，即模型预测的准不准。

1.3 召回率(Recall)

召回率的数学定义为：

Recall = \frac{TP}{TP+FN}

召回率描述的是：如果实际都为“是”，模型有多少比例能输出为“是”，即模型预测的全不全。

1.4 F1值(F1 score)

F1值的数学定义为：

F1 score = \frac{2\times Precision\times Recall }{Precision+Recall}

代入上面Precision和Recall的公式可以化简为：

F1 score = \frac{2TP}{2TP+FN+FP}

F1值是一种综合了模型的精度和召回率的评估指标。它是精度和召回率的调和平均值，因此在评估二元分类器时更加全面和准确。在模型选择、参数调优和结果解释等方面都具有重要的参考意义。同时，F1 score也可以用于比较不同模型或算法的性能，以便选择最优模型或算法。

1.5 ROC曲线(接收者工作特征曲线，Receiver Operating Characteristic curve)

这个指标有点复杂。。。

首先，ROC曲线横坐标为假阳性率FPR（False Positive Rate），FPR=FP/(FP+TN)。纵坐标为真阳性率TPR（True Positive Rate，即为Recall），TPR= Recall= TP/(TP+FN)。

然后再回到上面奥特曼的实例：我们需要知道，深度学习网络对于分类问题的输出并非“有”或“无”，而是一个0~1的置信概率。

如果我们设定一个阈值，比如模型计算输出有奥特曼的置信概率在0.6以上，我们才认为模型判断是“有”奥特曼，上面的示例应该变成这样：

显然，如果我们调整这个判断阈值，预测结果“有”或“无”就可能会发生变化，那么FPR和TPR就有可能都会变更，这样就有了一个新的点坐标（FPR，TPR）。

如果我们把所有的（FPR，TPR）都在坐标中描出来，并按顺序连接起来，就得到了ROC曲线。

特别地，如果我们把阈值设定为0，即模型输出的所有结果都为“有”，这时TN=FN=0，（FPR，TPR）=（1，1）；如果把阈值设定为1，即模型输出的所有结果都为“无”，这是TP=FP=0，（FPR，TPR）=（0，0）。这样我们就知道ROC曲线肯定是在（0，0）和（1，1）这两点之间。例如下图：

ROC曲线的斜率和凸度反映了分类器的预测性能，ROC曲线越靠近左上角则分类器的性能越好。此外，ROC曲线下的面积AUC（Area Under the ROC Curve）也是一个常用的指标，AUC值越大表示分类器的预测性能越好，AUC值为1表示分类器的预测完全准确。

1.6 mAP(mean Average Precision)

中文咋翻译。。。平均平均精度？

首先需要介绍一下AP。我们按上面ROC的制作思路再制作一条曲线：其横坐标为Recall，纵坐标为Precision。这次我们调整的阈值不再是置信概率，而是IoU（或者说IoU本身也可以算作一种置信概率，下面会有介绍）。

通过调整IoU由0到1，我们获得多个坐标点（Recall，Precision）并依次连线，得到下面的Precision-Recall曲线：

对这条曲线进行积分即为AP：

AP = \int_{0}^{1} p(r)dr

如果我们要识别的对象有多种（迪迦奥特曼、泰罗奥特曼、赛文奥特曼等），那我们就会有多个AP，对其求均值即为mAP。

ROC曲线用于评估二分类器的性能，而mAP（mean Average Precision）是目标检测任务中的一个重要指标，用于评估模型对多个类别目标检测的精度。

2. 图像分割性能指标

这类指标是用于评估图像分割的准确性：能准确分割目标图像，描述预测对象位置和实际位置的差距。

我们还举一个奥特曼的例子：

这里蓝色框A是奥特曼的真实位置，已事先标注出来。红色框B是模型给奥特曼分割的边界。

2.1 交并比(IoU, Intersection over Union)

IoU是预测区域和真实区域的交集和并集的比：

IoU = \frac{A\bigcap B}{A\bigcup B}

mIoU（Mean Intersection over Union）是对所有类别的IoU计算平均值，用于评估多分类分割模型的表现。

2.2 准确率(Precision)&召回率(Recall)&F1值(F1 score)

这3个指标和上面分类问题的定义思路一样，所以一起来讲，其数学定义为：

Precision = \frac{A\bigcap B}{B}

Recall = \frac{A\bigcap B}{A}

F1 score = \frac{2\times Precision\times Recall }{Precision+Recall}

2.3 Dice系数(Dice coefficient)

Dice系数是预测区域和真实区域的交集与两者加和的比：

Dice = \frac{2A\bigcap B}{A+B}

模型训练篇 | 关于yolov8算法训练评估指标详解
突然好想你
10-13 1539
在采用YOLOv8算法训练完成后，需要对算法训练效果进行评价，主要包括指标有精确率（Precision）、召回率（Recall）、交并比（IoU）、平均精度（AP）和多个类别AP的平均值即mAP等等。本节课就给大家重点介绍下相关评价指标及其含义，希望大家学习之后能够有所收获！🌈
《目标检测蓝皮书》附录 | 详解 【分类】【回归】【检测】【分割】 损失函数与性能指标
YOLOv8项目贡献者
07-16 4334
一文搞懂21种损失函数与24种评价指标！
五分钟秒懂机器学习混淆矩阵、ROC和AUC
TechFlow的博客
04-29 1788
本文始发于个人公众号：TechFlow，原创不易，求个关注 今天是机器学习专题的第18篇文章，我们来看看机器学习领域当中，非常重要的其他几个指标。 混淆矩阵 在上一篇文章当中，我们在介绍召回率、准确率这些概念之前，先讲了TP、FP、FN、和FP这几个值。我们再来简单地回顾一下，我们不能死记硬背这几个指标，否则很容易搞错，并且还容易搞混。我们需要从英文入手来理解，其中的T表示真，可以理解成预测正确...
【评价指标】混淆矩阵Confusion Matrix、iou、miou、召回率、准确率及代码实现
ting的博客
03-24 3619
混淆矩阵Confusion Matrix是大小为 (n_classes, n_classes) 的方阵, n_classes 表示类的数量。混淆矩阵可以用于直观展示每个类别的预测情况。并能从中计算精确值(Accuracy)、精确率(Precision)、召回率(Recall)、交并比(IoU)。
深度学习评价指标（混淆矩阵、精确率、召回率、F1 score...）
qingqiqiuwhy的博客
03-21 771
混淆矩阵（Confusion Matrix）是在机器学习领域中用来评估分类算法性能的一种矩阵。它是一个二维矩阵，用于比较模型预测结果和实际标签之间的差异。混淆矩阵的行表示实际类别，列表示预测类别，矩阵的每个元素表示模型在测试集中将一个类别的样本预测为另一个类别的样本的数量。混淆矩阵通常用于计算分类模型的精确度、召回率和 F1 分数等性能指标。
混淆矩阵、ROC、AUC
gyq423的博客
09-10 6178
主要内容 （1）混淆矩阵（主要指标） （2）绘制ROC （3）AUC （4）多分类 ------------------------------------------------------------------------------------------------------------------------- 一、混淆矩阵 样本 预测值 1 0 实...
【学习笔记】混淆矩阵、ROC和AUC
Rileylalala的博客
09-29 278
但是在本节开头，我们通过提高阈值，成功地将金智秀从“SM人”扭转回“YG人”，让这个分类器从“一般的表现”升级到了“还不错”。现在，我们顺利地绘制出了ROC曲线，可以非常直观地看到分类器在不同阈值的“刺激”下所表现出的分类效果。现在假设我们构建了一个分类器，输入这些爱豆的特征数据，如身高、体重、声乐、跳舞、表现力等，让分类器自动预测这个爱豆属于SM娱乐公司的概率。例如，现有一组爱豆数据，共有4个人，每个人都会被标记为"SM"或“YG"，代表他们所属的娱乐公司。了两个人的所属公司，这也是“混淆矩阵”中。
机器视觉光学镜头的技术指标
twnming的专栏
09-27 1325
机器视觉的集成和设计面临各种来自硬件、软件和电子方面问题的挑战，如果忽视光学性能规格，不了解如何评估光学器件，用户挑选合适的机器视觉镜头将会面临挑战。通过了解10项镜头规格，可以帮助集成商和用户挑选镜头，来优化或评估各自系统的性能。　　视觉系统光学性能的4项最基本参数是视野（field of view）、分辨率resolution、工作距离working distance和景深depth of f
YOLO算法：关于目标检测的评价指标（小白入门必读）
突然好想你
10-24 2345
目标检测评价指标是用来衡量目标检测算法性能的指标，主要包括几个指标：精确率（Precision）、召回率（Recall）、交并比（IoU）、平均精度（AP）和多个类别AP的平均值即mAP等等。本节课就给大家重点介绍下目标检测中的相关评价指标及其含义，希望大家学习之后能够有所收获！
机器视觉工程师如何进行工业视觉算法验证标准
最新发布
zhangzhechun_02的博客
05-04 51
准确率(Accuracy)：正确分类的比例精确率(Precision)：正确识别的阳性样本占所有识别为阳性样本的比例召回率(Recall)：正确识别的阳性样本占所有真实阳性样本的比例F1分数：精确率和召回率的调和平均值平均精度(mAP)：对于目标检测任务处理速度：每秒处理图像数(FPS)或平均处理时间资源占用：CPU/GPU使用率、内存消耗系统化验证流程：从数据集准备、离线验证到性能指标计算和结果分析，建立了一套完整的验证体系。多维度评估指标。
如何选择合适的评估指标
AI天才研究院
08-02 324
如何选择合适的评估指标 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 在人工智能和机器学习的领域中，评估指标的选择是至关重要的。一个合适
分类器评价、混淆矩阵与ROC曲线
Manketon的专栏
03-12 845
转自： http://cos.name/2011/09/evaluation-of-classifiers/
语义分割任务中使用混淆矩阵计算IOU的原理及代码解读
jyh9638的博客
12-26 1529
为了搞明白这几行代码的原理，令a = torch.tensor([ 3, 255, 255, 4, 4, 5, 4, -1, 3, 3, 7, 7, 255, 2, 2, 3])，b=tensor([ 3, 255, 255, 3, 3, 5, 3, 255, 3, 3, 7, 7, 255, 2, 2, 3])。, 3, 3, 7, 7, 2, 2, 3])，红色位置的是预测错误的像素。
机器视觉中的目标检测精度评价指标
m0_62919535的博客
03-27 1866
这一篇主要是了解一下我自己项目上的主要技术指标。在目标检测领域中，存在着许多的精度评价指标，需要依据本身的应用场景选择更合适的评价指标。准确度(Accuracy)、精确率(Precision)、召回率(Recall)、IoU(Intersection over Union)。分类精度：比如准确度（Accuracy），精度（Precision），召回率（Recall Rate）， PR 曲线，AP，mAP等；定位精度：比如 IoU；运行速度：比如 fps，帧率，一秒处理几张图。
混淆矩阵和ROC的个人理解
zhunode的探索
10-25 1377
以下都是个人得到的认识，不一定正确！ 混淆矩阵 肯定类别 否定类别 阳性判断 真阳性(TP) 假阳性(FP) 阴性判断 假阴性(FN) 真阴性(TN) 这是我自己对上面混淆矩阵的理解： 真阳性： 真：表示我预测的结果是阳性的，而实际结果也是阳性的，所以我预测对了，从而为真。 阳性 ： 表示我预测的结果为阳性。 从而简称为真阳性 假阳性： 假：表示我预测的结果是阳性...
计算机视觉基础之mAP
黄小黄的窝
10-15 3800
## mAP mAP定义及相关概念 mAP：mean Average Precision，即各类别AP的平均值 AP：PR曲线下面积 PR曲线：Precision-Recall曲线 Precision：TP/(TP+FP) Recall:TP/(TP+FN) TP:IoU>0.5的检测框数量（同一Ground Truth只计算一次） FP：IoU <=0.5的检测框，或者是检测到同一个GT的多余检测框的数量 FN：没有检测到的GT的数量 图像检索mAP 图像检索中的mAP和目标检测中的mAP
mAP，ROC
kkkkkkkkq的博客
02-05 809
AP： precision:预测的正类中实际的正类/预测正类 recall:预测正类中实际的正类/实际正类 对于每一个检测的结果都会输出一个score值，我们都将它作为一个阈值，大于这个score值为预测正样本，小于这个score值为预测负样本，AP@IOU=0.5时，实际当框框与真值框大于0.5时为正样本，当框框与真值框小于0.5时为实际负样本，就得到一个recall和precisio
ROC曲线、P-R曲线以及mAP
Mr_health的博客
07-20 3371
P-R曲线 P-R曲线，全称时precision-recall，纵轴为查准率（precision），横轴为查全率（recall）。 查准率的计算公式如下，表示所有预测为正例的数据中，真正例所占的比例，公式如下：。 查全率是指预测为真正例的数据占所有正例数据的比： 查准率和查全率是一对矛盾的度量，一般来说，precision高时，recall往往偏低，recall高时，precision往往偏低。 可以这么理解，我们通过降低阈值thresh，可以有效增加TP，进而提升recall值，但是同时
深度学习之眼睛状态识别&&混淆矩阵的绘制
starlet_kiss的博客
08-09 3251
本次实验基于自己搭建的CNN网络实现眼睛状态的分类，本来是打算迁移学习利用VGG16网络进行分类的，但是实验效果特别差，而且速度很慢，应该是博主自己的问题。而自己搭建的CNN网络的模型准确率也很高，运行速度很快。本文的重点在于混淆矩阵的绘制，这是之前没有接触过的东西。 1.导入库 import tensorflow as tf import numpy as np import matplotlib.pyplot as plt import os,pathlib,PIL from tensorflow im
混淆矩阵IoU公式
04-27
<think>好的，我现在需要帮助用户查找混淆矩阵与IoU（交并比）的公式及其相关计算方法或定义。首先，我需要回忆混淆矩阵的基本概念和IoU的定义，确保自己理解正确。混淆矩阵是用于评估分类模型性能的表格，通常包括真正例（TP）、假正例（FP）、真负例（TN）和假负例（FN）这四个指标。而IoU，交并比，常用于目标检测或图像分割任务，衡量预测区域与真实区域的重叠程度。 接下来，我要确认混淆矩阵和IoU之间的关系。用户可能想知道如何从混淆矩阵中推导出IoU，或者两者是否有直接的联系。根据已有的知识，混淆矩阵主要用于分类任务的评估，而IoU更多用于检测或分割任务。因此，它们可能属于不同的评估体系，但可能存在间接的关联，比如在语义分割中，每个类别的IoU可能与混淆矩阵中的TP、FP、FN有关。 查阅用户提供的引用内容，引用[3]提到在制作ROC曲线时，调整的阈值可以是IoU，这说明IoU在评估指标中的角色可能与置信度相关。同时，引用[3]也提到AP（Average Precision）的计算涉及Precision和Recall，这两者通常从混淆矩阵中获得。因此，可能存在一种方式将IoU与混淆矩阵中的指标结合起来。 接下来，我需要明确IoU的公式。IoU的基本公式是预测区域和真实区域的交集面积除以它们的并集面积，即： $$IoU = \frac{TP}{TP + FP + FN}$$ 这里，TP是正确预测的正例，FP是错误预测的正例，FN是错误预测的负例。需要注意的是，在目标检测中，通常每个预测框和真实框的IoU需要达到一定阈值（如0.5）才被视为正确检测（TP），否则可能是FP或FN。因此，IoU的计算可能涉及到每个实例的具体比较，而混淆矩阵则是整体统计的结果。 然而，用户的问题是关于混淆矩阵中的IoU计算公式，这可能意味着用户希望了解如何从混淆矩阵的四个基本指标（TP、FP、TN、FN）中计算IoU。根据上述公式，IoU确实可以通过这三个参数计算得出，但需要明确每个参数在具体任务中的定义。例如，在语义分割中，每个像素的分类结果可以构成混淆矩阵，而IoU可能针对每个类别单独计算，即对于类别i，IoU_i = TP_i / (TP_i + FP_i + FN_i)。 现在，我需要验证这一思路是否正确。例如，在语义分割任务中，混淆矩阵通常是多维的，每个类别对应一行和一列，统计每个类别的预测和实际值。此时，每个类别的IoU可以通过该类别对应的TP、FP和FN计算，而TN可能不直接参与计算，因为TN代表其他类别正确预测的数量，这在多分类中可能复杂。因此，IoU的计算确实基于每个类别的TP、FP和FN。 用户提供的引用[2]提到了多分类混淆矩阵，这支持了上述观点。同时，引用[3]提到IoU作为置信概率的调整阈值，可能影响TP、FP的判定。例如，在目标检测中，只有当预测框与真实框的IoU超过阈值时，才视为TP，否则视为FP。这说明IoU的计算是实例级别的，而混淆矩阵中的TP、FP等是统计结果，两者在模型评估中是相互关联的。 总结起来，混淆矩阵中的IoU计算公式是针对每个类别的，可以表示为： $$IoU_{\text{类别}i} = \frac{TP_i}{TP_i + FP_i + FN_i}$$ 其中，TP_i是正确预测为类别i的数量，FP_i是错误预测为类别i的数量，FN_i是实际为类别i但被错误预测为其他类别的数量。 接下来，我需要检查是否有遗漏或误解的地方。比如，混淆矩阵是否仅用于二分类，而IoU在多分类中的处理方式是否有所不同。根据引用[2]中的多分类混淆矩阵，每个类别都有自己的TP、FP、FN，因此可以分别计算每个类别的IoU，然后取平均得到mIoU（平均交并比），这在语义分割中是常见的做法。 此外，用户可能想知道具体的计算步骤或示例。例如，如何根据混淆矩阵的数值代入公式。例如，对于一个二分类问题，混淆矩阵可能如下： | | 预测正类 | 预测负类 | |------------|----------|----------| | 实际正类 | TP=50 | FN=10 | | 实际负类 | FP=5 | TN=35 | 此时，正类的IoU为50 / (50 + 5 + 10) = 50/65 ≈ 0.769。 这样具体的例子可以帮助用户更好地理解如何应用公式。 最后，需要确保回答结构清晰，分点说明混淆矩阵和IoU的关系、公式、计算步骤，以及可能的示例，同时引用相关文献支持。需要区分混淆矩阵在分类任务中的作用和IoU在检测/分割中的应用，避免混淆两者的应用场景。</think>### 混淆矩阵与IoU（交并比）的公式及计算方法 #### 1. 混淆矩阵与IoU的关系 混淆矩阵是分类模型的评估工具，记录$TP$（真正例）、$FP$（假正例）、$TN$（真负例）、$FN$（假负例）四个指标[^2]。而**IoU（Intersection over Union）**常用于目标检测或图像分割任务，衡量预测区域与真实区域的重叠程度，其计算需基于$TP$、$FP$、$FN$三个参数[^3]。 #### 2. IoU的数学定义 IoU的公式为： $$IoU = \frac{TP}{TP + FP + FN}$$ - **分子**：预测与真实区域的重叠部分（即$TP$）。 - **分母**：预测与真实区域的联合部分（$TP + FP + FN$，等价于预测区域+真实区域−重叠部分）。 #### 3. 计算步骤 以图像分割任务为例： 1. **统计混淆矩阵**：对每个类别，分别计算$TP$（正确预测为该类别的像素数）、$FP$（错误预测为该类别的像素数）、$FN$（实际属于该类但未被预测的像素数）。 2. **代入公式**：对每个类别单独计算$IoU_i$，公式为： $$IoU_i = \frac{TP_i}{TP_i + FP_i + FN_i}$$ 3. **多分类扩展**：若涉及多分类任务，取所有类别$IoU_i$的平均值，即**mIoU**（Mean IoU）： $$mIoU = \frac{1}{N}\sum_{i=1}^{N}IoU_i$$ #### 4. 示例说明 假设二分类混淆矩阵如下： | | 预测正类 | 预测负类 | |------------|----------|----------| | 实际正类 | $TP=50$ | $FN=10$ | | 实际负类 | $FP=5$ | $TN=35$ | 则正类的IoU为： $$IoU_{\text{正类}} = \frac{50}{50 + 5 + 10} = \frac{50}{65} \approx 0.769$$ #### 5. 核心区别 - **混淆矩阵**：用于分类任务，评估全局精度、召回率等指标[^2]。 - **IoU**：用于检测/分割任务，关注局部区域重叠精度[^3]。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

使者大牙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值