模型评价指标笔记：混淆矩阵+F1+PR曲线+mAP

最新推荐文章于 2024-06-18 15:17:52 发布
最新推荐文章于 2024-06-18 15:17:52 发布
阅读量1.3k 收藏 19
点赞数 10
分类专栏： 目标检测 深度学习 计算机视觉 文章标签： 笔记 矩阵 人工智能 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44240478/article/details/139116086
版权

评价指标

二分类评价指标

混淆矩阵

image.png
TP: 正确预测为了正样本，原来也是正样本
FN: 错误的预测为负样本，原来是正样本 (漏报，没有找到正确匹配的数目)
FP: 错误的预测为正样本，原来是负样本 (误报，没有的匹配不正确)
TN: 正确的预测为负样本，原来是负样本

正确率

image.png

精确率和召回率

精确率/查准率

TP: 真实P类 预测P类, FP: 真实N类 预测P类, TP + FP: 模型预测为P类的数量
image.png

召回率/查全率

FN 真实为P类，预测为N类; TP + FN: 真实P类的数量 (不考虑预测的结果)
image.png

例如

image.png

F1-Score

即F值为正确率和召回率的调和平均值
image.png

ROC

精确率、召回率 和 F1-score 都是单一的数值指标，如果想观察分类算法在不同的参数下的表现，此时可以使用一条曲线，即 ROC。ROC 曲线可以用评价一个分类器在不同阈值下的表现。
横坐标是 FPR(假正例率)，FPR= FP / (FP + TN)，表示分类器预测的正类中实际负实例占所有负例的比例，FPR越大，预测正类中的实际负类越多, 越小越好。(假警报率)
纵坐标是TPR(真正例率)，公式同召回率的，TPR= TP / (TP + FN)，表示分类器预测的正类中实际正实例占所有正例的比例, 值越大越好。(命中率)
ROC曲线的横轴为假正例率，纵轴为真正例率，范围都是[0,1]，现在我们开始画图——根据从大到小遍历预测值，把当前的预测值当做阈值，计算FPR和TPR
结论： ROC下面的面积越大，分类器越好

P-R曲线

为了找到最合适的阈值，需要遍历 0 到 1 之间所有的阈值，每个阈值都对应着一对查准率和查全率，从而得到 PR 曲线
结论：越靠近正方形的对角越好

AP（average precision）

平均精确度（AP）通常是通过积分(或者近似的方法)的方式计算PR曲线下的面积来得到的
使用积分(或者近似的方法)来计算从召回率0到1的整个曲线下的面积。
通常来说一个越好的分类器，AP值越高

多分类评价指标

混淆矩阵

image.png
混淆矩阵可以提供以下信息：
正确分类的数量：主对角线上的元素显示了每个类别被正确预测的次数
错误分类的数量：非对角线上的元素显示了每个类别被错误预测为其他类别的次数

Accuracy 之 top1和top5

Top-1 Accuracy：是指模型预测的最高概率分数对应的类别与真实类别相同的情况下，认为是正确预测
Top-5 Accuracy：它允许模型在预测的概率最高的五个类别中只要有一个是正确的，就认为预测是成功的

mAP-全类平均精确率

image.png
其中 n 是类别的总数，AP(i) 是第 i 个类别的 Average Precision 值

AP 与 mAP

AP 衡量的是训练好的模型在每个类别上的好坏
mAP 衡量的是模型在所有类别上的好坏，mAP 就是取所有 AP 的平均值
mAP 常作为目标检测算法的评价指标，对于每张图片检测模型会输出多个预测框（远超真实框的个数），用 IoU (Intersection Over Union，交并比)来标记预测框是否预测准确。
标记完成后，随着预测框的增多，查全率 R 总会上升，在不同查全率 R 水平下对准确率 P 做平均，即得到AP，最后再对所有类别按其所占比例做平均，即得到 mAP 指标

目标检测

目标检测中的性能指标主要包括：精确率(precision)、召回率(recall)、平均精度(average precision，AP)、平均精度均值(mean average precision，mAP)。
目标检测算法中主要使用的性能指标是 mAP、 检测速度（帧/s）–> FPS （每秒传输帧数(Frames Per Second)）

性能指标

机器性能

FLOPS

FLOPS（Floating Point Operations per Second）指每秒浮点运算次数，可以理解为评估计算速度的单位
image.png

算法性能

FLOPs

FLOPs：(Floating Point Operations) s小写，指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。（模型） 在论文中常用GFLOPs（1 GFLOPs = 10^9 FLOPs）
一般计算FLOPs来衡量模型的复杂度：

  • 较大的FLOPs值通常表示任务或算法具有更高的计算需求，需要更多的计算资源来完成
  • FLOPs越小时，表示模型所需计算量越小，运行起来时速度更快
安装库

pip install thop

查看FLOPs性能
import torch
from thop import profile
from torchvision.models import resnet50
model = resnet50()
input1 = torch.randn(1, 3, 224, 224)
flops, params = profile(model, inputs=(input1, ))
print('FLOPs = ' + str(flops / 1000 ** 3) + 'G')

第三方工具计算评价指标

参考：Cartucho / mAP

饭碗、碗碗香
关注
  • 10
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
yolo系列中的一些评价指标说明
qq_30150579的博客
11-25 3163
yolo系列中的一些评价指标说明
混淆矩阵，准确率，精确率，召回率，F1值，ROC/AUC曲线的理解
tituszm
05-29 1万+
在机器学习中，对一个模型的学习能力好坏的评估，往往人为判断不容易直接得到结果，这时候就可以根据一些数据指标进行分析评估。对模型（分类器，学习器）的泛化能力进行评估，有衡量模型泛化能力的评价标准，被称为性能度量。 性能度量反应了人物需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果，这就意味着模型的"好坏"是相对的，什么样的模型是好的，不仅取决于算法和数据，还决定于任务需求。...
混淆矩阵及其相关评价指标
B站搜索 馆主君晓 欢迎关注~
03-15 3989
本文首发于馆主君晓的博客，链接地址为：混淆矩阵及其相关评价指标 在机器学习或者深度学习领域，我们常常会用到混淆矩阵，以及与之相关的一些评价指标，今天就稍微总结一下什么是混淆矩阵以及里面的一些评价指标及其相关含义。 混淆矩阵   混淆矩阵又叫做误差矩阵，是表示精度评价的一种标准格式，常常用n行n列的矩阵来表示，而通常在二分类的任务中，我们常常用下面的矩阵来表示混淆矩阵。   上图是一个二分类混淆矩阵的标准形式，在二分类中0我们称之为负类，也就是negative，而1我们称之为正类，也就是positive
目标检测中评估指标mAP详解和计算方式
热门推荐
小菜的博客
02-17 1万+
相信大家在看一些目标检测论文中经常会看到作者将自己的模型和其他的模型做了mAP比较，mAP作为目标检测中一个非常重要的评估指标，是对模型好坏的评价标准，当时在看YOLOv3、SSD、Faster R-CNN等这些论文的时候，对mAP还不是很熟悉，看了很多的博文，写得都很零碎，很难理解，虽然大概能明白其原理，但是可能对于很多刚进入这个领域的同学来说，难度还是很大的，刚好这几天被困在家没事做，在复习之...
【ML】混淆矩阵（Accuracy，Precision，Recall，F1）
大胡子老哥的博客
12-20 1880
机器学习，混淆矩阵，举例说明
Web前端学习笔记：HTML5+CSS3+JavaScript.pdf
03-19
CSS3 篇首先从 CSS3 的基础知识开始，讲解了 CSS 样式表与选择器的使用（包括 CSS3 新增选择器），并重点讲解了 CSS 中的各种属性以及 CSS3 的新属性，然后讲解了 CSS 中的盒模型、浮动、定位的相关知识，最后介绍...
Meta最新语言模型LLaMA论文研读：小参数+大数据的开放、高效基础语言模型阅读笔记 - Redian新闻.pdf
09-15
Meta最新语言模型LLaMA论文研读：小参数+大数据的开放、高效基础语言模型阅读笔记 Meta最新语言模型LLaMA论文研读是最近的一篇论文，该论文介绍了一个名为LLaMA的开放、高效基础语言模型，该模型参数范围从7B到65B...
linux运维学习笔记：lvs+keepalived集群部分Shell企业案例.pdf
08-18
linux运维学习笔记：lvs+keepalived集群部分Shell企业案例
毕设项目：基于spring+mybatis实现高并发秒杀系统，包含详细笔记.zip
10-20
毕设项目：基于spring+mybatis实现高并发秒杀系统，包含详细笔记 毕设项目：基于spring+mybatis实现高并发秒杀系统，包含详细笔记 毕设项目：基于spring+mybatis实现高并发秒杀系统，包含详细笔记 毕设项目：基于...
模型评价指标—F1值
阿黎逸阳的博客
04-08 3305
模型评价指标F1值的计算与实现
机器学习中的混淆矩阵，准确率，精确率，召回率，F1，ROC/AUC，AP/MAP
Luoyingfeng的博客
06-20 5881
评价指标的引出 为什么要引出这么多评价指标，它是基于什么样的需求？ 在生活中，最常用的就是准确率，因为它定义简单而且比较通用，但在机器学习中，它往往不是评估模型的最佳工具， 特别是在数据分布不平衡的时候，请看一个例子： 比如我们训练了一个预测地震的模型，预测类别只有两个：0：不发生地震、1：发生地震，当前有100个测试集，如果模型地无脑把每一个测试用例都预测为0，那么它就达到99%的准确率，但实际上它并不具有预测的能力，为什么会出现这种情况？因为这里数据分布不平衡，类别为1的数据太少，完全分错类别1依然可以
map平均准确率_（三十七）通俗易懂理解——模型评价指标（混淆矩阵、目标检测AP与mAP、PR曲线）...
weixin_39956022的博客
12-23 1095
这个问题困扰我挺久，一度还理解错混淆矩阵的含义，每次记住一会没多久又忘了，而目标检测的AP与mAP问题又一直模模糊糊的，今天终于比较清晰地理解了，感谢网络上各网友无私而又丰富的知识分享。混淆矩阵的定义混淆矩阵（Confusion Matrix），它的本质远没有它的名字听上去那么拉风。矩阵，可以理解为就是一张表格，混淆矩阵其实就是一张表格而已。以分类模型中最简单的二分类为例，对于这种问题，我们的模型...
性能指标（模型评估）之mAP与混淆矩阵
tugouxp的专栏
09-02 681
结束！
混淆矩阵（confusion matrix）
念去去的博客
11-23 5680
混淆矩阵是一个统计预测结果与实际结果关系时用到的直观的矩阵，直接上图。 动物识别   狮子 老虎 老鼠 猫 狗 狮子 0.45 0.25 0.05 0.18 0.07 老虎 0.16 0.39 0.09 0.24 0.12 老鼠 0.03 0.04 0.62 0.16 0.15 猫 0.1
学习总结--混淆矩阵、准确率、精确率、召回率、PR曲线、mAP
AWhiteDongDong的博客
06-13 2482
先记一些概念 ** 准确率 ** 检测时分对的样本数除以所有的样本数。准确率一般被用来评估检测模型的全局准确程度，包含的信 息有限，不能完全评价一个模型性能。 混淆矩阵 混淆矩阵(Confusion Matrix)混淆矩阵是以模型预测的类别数量统计信息为横轴，真实标签的数量统计信息为纵轴画出的矩阵。对角线代表了模型预测和数据标签一致的数目，所以准确率也可以用混淆矩阵对角线之和除以测试集图片数量来计算。对角线上的数字越大越好，在混淆矩阵可视化结果中颜色越深，代表模型在该类的预测结果更好。其他地方自然是预测错误
评估指标：混淆矩阵、PR、mAP、ROC、AUC
明月清风
12-18 3870
TP、TN、FP、FN TP，即 True Positive，预测为正样本，实际也为正样本的特征数。 TN，即 True Negative，预测为负样本，实际也为负样本的特征数。 FP，即 False Positive，预测为正样本，实际为负样本的特征数。 FN，即 False Negative，预测为负样本，实际为正样本的特征数。 Accuracy 和 Error rate ...
MySQL数据库笔记（二）
2301_78671299的博客
06-18 1054
操作数据对象。接受参数返回一个结果。只对一行进行变换。每行返回一个结果。可以嵌套。参数可以是一列或一个值。聚合函数作用于一组数据，并对一组数据返回一个值。子查询指一个查询语句嵌套在另一个查询语句内部的查询。多表查询，也称为关联查询，指两个或更多个表一起完成查询操作。前提条件：这些一起查询的表之间是有关系的（一对一、一对多），它们之间一定是有关联字段，这个关联字段可能建立外键，也可能没有建立外键。比如：员工表和部门表，这两个表依靠“部门编号”进行关联。
libspice源文件笔记
最新发布
cai742925624的专栏
06-18 173
libspice源文件笔记
Springboot学习笔记之springboot+shiro+cas
05-21
Spring Boot 是一个快速开发框架，它提供了一系列的工具和插件，可以快速构建一个企业级的应用程序。而 Shiro 是一个强大而灵活的安全框架，可以提供身份验证、授权、密码加密、会话管理等功能。CAS 是一个单点登录（SSO）协议，可以实现用户在多个应用系统中使用同一个身份验证。 下面是一个简单的 Spring Boot + Shiro + CAS 的示例应用程序： 1. 创建一个 Spring Boot 应用程序，并添加依赖： ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.apache.shiro</groupId> <artifactId>shiro-spring-boot-web-starter</artifactId> <version>1.5.3</version> </dependency> <dependency> <groupId>org.jasig.cas.client</groupId> <artifactId>cas-client-core</artifactId> <version>3.6.0</version> </dependency> ``` 2. 配置 Shiro： ```java @Configuration public class ShiroConfig { @Bean public CasRealm casRealm() { CasRealm realm = new CasRealm(); realm.setCasServerUrlPrefix("https://cas.example.com/cas"); realm.setCasService("https://myapp.example.com/cas"); realm.setDefaultRoles("user"); realm.setRoleAttributeNames("memberOf"); return realm; } @Bean public DefaultWebSecurityManager securityManager() { DefaultWebSecurityManager manager = new DefaultWebSecurityManager(); manager.setRealm(casRealm()); return manager; } @Bean public ShiroFilterFactoryBean shiroFilter() { ShiroFilterFactoryBean filter = new ShiroFilterFactoryBean(); filter.setSecurityManager(securityManager()); filter.setLoginUrl("https://cas.example.com/cas/login?service=https://myapp.example.com/cas"); filter.setSuccessUrl("/home"); filter.setUnauthorizedUrl("/403"); filter.setFilterChainDefinitionMap(Collections.singletonMap("/**", "authc")); return filter; } } ``` 3. 配置 CAS： ```java @Configuration public class CasConfig { @Bean public CasAuthenticationFilter casAuthenticationFilter() { CasAuthenticationFilter filter = new CasAuthenticationFilter(); filter.setCasServerLoginUrl("https://cas.example.com/cas/login"); filter.setServerName("https://myapp.example.com/cas"); filter.setAuthenticationSuccessHandler(authenticationSuccessHandler()); filter.setAuthenticationFailureHandler(authenticationFailureHandler()); return filter; } @Bean public SimpleUrlAuthenticationSuccessHandler authenticationSuccessHandler() { SimpleUrlAuthenticationSuccessHandler handler = new SimpleUrlAuthenticationSuccessHandler(); handler.setDefaultTargetUrl("/home"); handler.setAlwaysUseDefaultTargetUrl(true); return handler; } @Bean public SimpleUrlAuthenticationFailureHandler authenticationFailureHandler() { SimpleUrlAuthenticationFailureHandler handler = new SimpleUrlAuthenticationFailureHandler(); handler.setDefaultFailureUrl("/login?error=true"); return handler; } @Bean public FilterRegistrationBean<CasAuthenticationFilter> casFilterRegistrationBean() { FilterRegistrationBean<CasAuthenticationFilter> registration = new FilterRegistrationBean<>(); registration.setFilter(casAuthenticationFilter()); registration.addUrlPatterns("/*"); registration.setName("CAS Authentication Filter"); registration.setOrder(1); return registration; } @Bean public ServletListenerRegistrationBean<SingleSignOutHttpSessionListener> singleSignOutHttpSessionListener() { ServletListenerRegistrationBean<SingleSignOutHttpSessionListener> registration = new ServletListenerRegistrationBean<>(); registration.setListener(new SingleSignOutHttpSessionListener()); registration.setOrder(2); return registration; } @Bean public ServletRegistrationBean<Servlet> casValidationServletRegistrationBean() { ServletRegistrationBean<Servlet> registration = new ServletRegistrationBean<>(); registration.setServlet(new Cas20ProxyReceivingTicketValidationFilter()); registration.addUrlMappings("/cas/*"); registration.setName("CAS Validation Filter"); registration.setOrder(3); return registration; } } ``` 4. 创建一个 HomeController： ```java @Controller public class HomeController { @GetMapping("/home") public String home() { return "home"; } @GetMapping("/403") public String error403() { return "403"; } } ``` 5. 创建一个 CAS 认证服务器： ```java @SpringBootApplication public class CasServerApplication { public static void main(String[] args) { SpringApplication.run(CasServerApplication.class, args); } } ``` 6. 创建一个 CAS 客户端： ```java @SpringBootApplication @EnableScheduling public class CasClientApplication { public static void main(String[] args) { SpringApplication.run(CasClientApplication.class, args); } } ``` 这就是一个简单的 Spring Boot + Shiro + CAS 的示例应用程序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

饭碗、碗碗香

感谢壮士的慷概解囊！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值