Day 20 - 重新检视 mAP, F1, IoU, Precision-Recall 精准度

最新推荐文章于 2024-05-03 14:22:45 发布
最新推荐文章于 2024-05-03 14:22:45 发布
阅读量534 收藏 1
点赞数
分类专栏： YOLO 文章标签： 目标检测 深度学习 模型验证
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50614038/article/details/121047005
版权

Day 20 - 重新检视 mAP, F1, IoU, Precision-Recall 精准度

AlexeyAB/darknet 版本的 YOLO 最被称羡的就是可以输出很多研究需要用的评估数据，因为有这些数据才有办法评量目前的准确度是否足够使用者满意，安装方式可以参照 Day 19 - 安装 AlexeyAB/darknet ON Amazon Linux 2，下图是安装 AlexeyAB/darknet 版本的 YOLO 的档案结构图，介绍一下比较重要的档案或文件夹：

  • build_release： 这是先前用来编译 AlexeyAB/darknet 原始档的暂时文件夹，编译后就可以删除。
  • cfg：一些常用来评估用的资料集的网路结构设定档，如 yolov3, yolov4, coco, voc 等。
  • darknet： AlexeyAB/darknet 的主要执行档。
  • darknet_image.py, darknet.py, darknet_video.py：透过呼叫 libdarknet.so ，可以在 Python 中直接调用 AlexeyAB/darknet 的一些主要功能，如训练、测试、载入网路结构等。
  • libdarknet.so： AlexeyAB/darknet 使用 c 语言所撰写的共享函式库，可供其他程式语言呼叫。
  • predictions.jpg： AlexeyAB/darknet 测试结果，会将便是结果直接画在图上，但跟 data 这个文件夹相关连，没有这个文件夹的话，在 Joseph/darknet 的版本会直接出错，无法运行；在 AlexeyAB/darknet 的版本方块框会正确标示出来，只是物件名称部分会是一堆黑线。
  • yolov4.weights： 这是 yolov4 事先训验好的权重模型，需要额外下载。

在这里插入图片描述
图 1、AlexeyAB/darknet 版本的 YOLO 的档案结构图

因为要将先前用 Joseph/darknet 训练好的权重模型直接拿用套用，因为我们只是需要更多验证或是测试期间的数据，所以就不重新训练模型。最简单的方法就是把 AlexeyAB/darknet 的 darknet 这个主程式搬到先前安装的环境，请参考 Day 14 - 安装与执行 YOLO 以及 Day 15 - 说明 YOLO 相关设定，下图为使用自己图片来训练的的档案结构图，说明一下相关文件：

  • cfg： 用来存放自定义网路结构组态档 yolov3.cfg，以及一些图片配置档。
  • data： 这是为了测试画图用，是直接使用 Joseph/darknet 的内容。
  • labels： 自己的图片训练集，包含图片档和标签档。
  • utils： 自己撰写的一些工具程式，如切分训练集与测试集。
  • weights：训练后的权重模型档。

在这里插入图片描述
图 2、使用自己图片来训练的的档案结构图

首先检查 darknet 的执行是否包含一些共享函式库，使用以下指令检查，下图中显示出来的结果为虽然会用到很多共享函式库，但都不在 AlexeyAB 这个文件夹内，所以直接复制过去就可以使用了。

ldd darknet
cd ~/fishRecognition/fishsite/FishRecognition/
cp ~/AlexeyAB/darknet .

在这里插入图片描述
图 3、AlexeyAB/darknet的共享函式库

运行先前的测试指令，可以发现跟先前的 Joseph/darknet 相比，输出结果是一样的，只是内容多了一点，而且看以下的讯息，似乎会自动弹出 OpenCV 的图型画面，来显示结果，但因为是在远端 EC2 的文件介面的 Amazon Linux 上运行，所以会出现 OpenCV exception 的错误讯息。

./darknet detector test cfg/obj.data cfg/yolov3.cfg weights/yolov3.backup ./labels/00-frame-608x608-0030.jpg

在这里插入图片描述
图 4、AlexeyAB/darknet 使用 yolov3 的测试结果

以下是尝试没有 data 这个文件夹的测试结果，如下图所示，左边是有 data 这个目录的，右边是把 data 改成 data~ 后的结果。

mv data data~
./darknet detector test cfg/obj.data cfg/yolov3.cfg weights/yolov3.backup ./labels/00-frame-608x608-0030.jpg

在这里插入图片描述
图 5、比较使用 data 与没有的测试图片

以下是 AlexeyAB/darknet 才可使用的语法，分别是显示测试资料的 mAP, recall，结果分别如下图分别显示测试图片针对个类别的 ap ，以及所有类别的 mAP, precision, recall, F1-score：还有个别图片的 recall 值。

./darknet detector map cfg/obj.data cfg/yolov3.cfg weights/yolov3.backup -iou_thresh 0.75 
./darknet detector recall cfg/obj.data cfg/yolov3.cfg weights/yolov3.backup

在这里插入图片描述
图 6、测试图片的 mAP, precision, recall, F1-score

在这里插入图片描述
图 7、测试图片中个别图片的 recall 值

新增新的测试集 cfg/new-test.txt 来进行验证。

cfg/new-test.txt
./labels/00-frame-608x608-0004-1.jpg
./labels/02-frame-608x608-0091-1.jpg

将所有的图片改个名字，进行新的测试集的测试，并要求显示出物件方块框的所在座标。

cd labels
cp 00-frame-608x608-0004.jpg 00-frame-608x608-0004-1.jpg
cp 00-frame-608x608-0004.txt 00-frame-608x608-0004-1.txt
cp 02-frame-608x608-0091.jpg 02-frame-608x608-0091-1.jpg
cp 02-frame-608x608-0091.txt 02-frame-608x608-0091-1.txt
cd ..
./darknet detector map cfg/obj.data cfg/yolov3.cfg weights/yolov3.backup  -dont_show -save_labels -ext_output < cfg/new-test.txt > result_newtest.txt

在这里插入图片描述
图 8、新增测试图片

在下图可以看出，除了显示辨识的判断机率外，还会显示物体的方块框座标。

在这里插入图片描述
图 9、测试结果

此外，AlexeyAB/darknet 可以在验证时对每一个类别产生一份验证报告，要先新增一个 results 目录，接着执行以下语法，便会在 results 目录中生成三份验证报告，因为这个练习只有三种辨识类别。

./darknet detector valid cfg/obj.data cfg/yolov3.cfg weights/yolov3.backup

./results/comp4_det_test_Altolamprologuscompressiceps.txt

00-frame-608x608-0004 0.695091 148.112183 405.041626 393.484497 485.914856
00-frame-608x608-0004 0.985318 44.345947 214.757629 326.162659 374.902832
00-frame-608x608-0004 0.045742 1.000000 216.310822 534.158752 384.061310
00-frame-608x608-0004 0.999615 38.003654 385.539154 208.513092 464.205353
00-frame-608x608-0004 0.990907 319.298859 388.642517 373.815460 433.122864
00-frame-608x608-0004 0.005802 137.095795 373.144440 366.280151 515.184265
00-frame-608x608-0004 0.003790 106.269424 242.552902 285.968262 334.292328
00-frame-608x608-0004 0.001615 73.208344 205.587555 247.985931 384.088348
00-frame-608x608-0004 0.001459 212.050888 374.788483 288.383789 412.966339
02-frame-608x608-0091 0.007312 105.508369 321.543884 170.846069 405.676208
02-frame-608x608-0091 0.001923 311.552612 233.153625 423.720398 279.820404
02-frame-608x608-0091 0.008265 135.432083 243.298737 185.704086 311.564911
02-frame-608x608-0091 0.003497 368.839294 292.943481 416.401672 344.871155
02-frame-608x608-0091 0.001466 184.931564 264.106323 231.303848 323.692810
02-frame-608x608-0091 0.001011 117.095284 334.017792 162.991821 392.841461
...部分内容

最后再介绍一个语法，据说是针对 AWS EC2 的专属语法，可以在训练期间就可以看到 mAP 以及 损失 Loss 图型

./darknet detector train cfg/coco.data yolov4.cfg yolov4.conv.137 -dont_show -mjpeg_port 8090 -map

然后打开浏览器，输入网址 http://[EC2_PUBLIC_IP]:8090 就可以看到。

参考资料

  • Yolo v4, v3 and v2 for Windows and Linux, https://github.com/AlexeyAB/darknet
Yehchitsai
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
darknet_AlexeyAB:测mAP；训练
05-16
darknet_AlexeyAB详述 克隆代码：git clone https://github.com/GuoJaw/darknet_AlexeyAB Introduce： 主要用于训练自己的数据集 测mAP 测试视频 [1- 测试video] ./darknet detector demo kitti/TestFile/kitti.data kitti/TestFile/yolov3_kitti.cfg kitti/TestFile/yolov3_kitti_final.weights -c 0 -thresh 0.3 test.avi 训练自己的数据集（以KITTI数据集为例） 【一】 制作KITTI格式数据集，将目录放在~/data/目录下，目录结构，见下： KITTIdevkit KITTI Annotations #标注的XML文件 ImageSet
【计算机视觉 | 目标检测】术语理解3：Precision、Recall、F1-score、mAP、IoU 和 AP
wzk4869的博客
05-19 6145
【计算机视觉 | 目标检测】术语理解3：Precision、Recall、F1-score、mAP、IoU 和 AP
机器学习性能度量指标（precision、recall、PR曲线、F1、ROC、AUC、IOU、mAP）
xhj_enen的博客
03-18 1万+
1、precision、recall、PR curve、F1 在信息检索等任务中，我们经常会关心“检索出的信息中有多少比例是用户感兴趣的”以及“用户感兴趣的信息中有多少被检索出来了”。precision（查准率）与recall（查全率）就是此类需求的性能度量指标。 对于一个二分类问题，我们可以根据模型的分类结果将其分为四类：TP、FP、TN、FN 则查准率与查全率的定义分别为： precisio...
图像分类 图像分割的评价指标（混淆矩阵 正确率 精准率 召回率 F1分数 IOU dice系数）
m0_63077499的博客
10-25 5421
图像分类 图像分割的评价指标（混淆矩阵 正确率 精准率 召回率 F1分数 IOU dice系数）
理解目标检测中的mAP与F1 Score
热门推荐
椰子奶糖的博客
05-20 1万+
文章目录总述IoUTP、TN、FP、FNPrecisionRecallF1-ScoremAPmAP计算过程： 总述 要理解mAP与F1 Score需要一些前置条件，比如：IoU、FP、TP、FN、TN、AP等 IoU 衡量监测框和标签框的重合程度。一张图就能解释。 TP、TN、FP、FN TP，即True Positives，表示样本被分为正样本且分配正确。 TN，即True Negatives，表示样本被分为样本且分配正确。 FP，即False Positives，表示样本被分为正样本但分配错
根据P(precision)、R（recall）计算F1和iou
向上生长的程序媛的博客
11-17 8126
一、首先，了解TP 、TN 、FP、 FN的基本概念 TP：被模型预测为正类的正样本（预测正确的正样本） TN：被模型预测为负类的负样本（预测正确的负样本） FP：被模型预测为正类的负样本（预测错误的正样本） FN：被模型预测为负类的正样本（预测错误的负样本） 二、根据TP 、TN 、FP、 FN计算P(precision)、R（recall） precision 计算公式： recall 计算公式： accuracy计算公式： 三、根据P(precision)、R（recal.
darknet训练时计算mAP和测试计算mAP
邹九的个人博客
12-12 2654
训练时计算相应的mAP值 ./darknet detector train cfg/coco.data yolov3.cfg yolov3.conv.137 -map 测试时计算相应的mAP值 To check accuracy mAP@IoU=50: ./darknet detector map data/obj.data yolo-obj.cfg backup\yolo-obj_7000.weights To check accuracy mAP@IoU=75: ./darknet detec
darknet 计算mAP，已验证能用
hy_z_的博客
07-20 1190
这里写自定义目录标题 cfg 文件改成测试的格式 运行./darknet detector valid .data .cfg .weight -out "" -gpu 0 -thresh .5 注意，这里是生成的 data文件里 valid=行中数据集的检测结果，也就是验证集并非测试集，如果想生成测试集（test）的结果，请把valid=后的内容换以下。 会在darknet文件夹下的result文件夹生成以各个类别名命名的txt文件 下载https://github.com/rbgirshi
voc数据 map f1计算
weixin_44523062的博客
03-13 560
1. VOC2007： 包含**9963**张标注过的图片， 由train/val/test三部分组成， 共标注出24,640个物体。 VOC2007的test数据label已经公布， 之后的没有公布（只有图片，没有label）。 总共：9963 test： 4952 trainval：5011 train： 2501 val： 2510 2. VOC2012 train...
计算目标检测IoU、Precision、Recall
05-15
计算目标检测IoU、Precision、Recall 计算目标检测IoU、Precision、Recall 计算目标检测IoU、Precision、Recall 计算目标检测IoU、Precision、Recall 计算目标检测IoU、Precision、Recall 计算目标检测IoU、...
boundary-iou-api:边界IoU API（测试版）
04-01
iou-api.git 或者git clone [email protected]:bowenc0221/boundary-iou-api.gitcd boundary_iou_apipip install -e .使用摘要我们提供了两种使用此api的方法，您可以使用我们的api替换导入，也可以进行离线评估。...
Cisco-IOU-L2-L3.rar
04-19
GNS3模拟器IOU类型设备文件，L2，L3各1个。测试这个版本在较多路由时暂没发现CPU占用过大等bug。
vm9.0中安装web-iou与web-iou的拓扑搭建
03-30
许多同学在学习CCIE的路上难免会碰到安装web-iou，其中这里会遇到一些问题，小编这里整理了一份资料，希望对你有帮助。
iou-ios cisco模拟器iou ios
01-07
iou-ios cisco模拟器iou ios,请大家抓紧下载
深度学习-线性回归+基础优化算法
Einstein·Jun
04-28 1076
1、线性回归是对n维输入的加权，外加偏差。2、使用平方损失来衡量预测值和真实值的差异。3、线性回归有显示解。4、线性回归可以看做是单层神经网络。我们将从零开始实现整个方法，包括数据流水线、模型、损失函数和小批量随机梯度下降优化器。"""生成y=Xw+b+噪声。"""print('features:', features[0], '\nlabel:', labels[0])里插入代码片正态分布函数：normal()
在图像处理领域，机器学习方法和深度学习方法的优势
Keep trying, keep going
05-02 412
在图像处理领域，机器学习方法和深度学习方法都被广泛应用，但两者有一些不同点和各自的优势。
软件杯 深度学习的动物识别
Mr.D学长
05-03 1083
🔥 优质竞赛项目系列，今天要分享的是基于深度学习的动物识别算法研究与实现该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！🧿🧿。
深度学习简介
最新发布
奇点Peter
05-03 203
传统机器学习算术依赖人工设计特征，并进行特征提取，而深度学习方法不需要人工，而是依赖算法自动提取特征。深度学习模仿人类大脑的运行方式，从经验中学习获取知识。这也是深度学习被看做黑盒子，课解释性差的原因。深度学习是机器学习的一个子集，也就是说深度学习是实现机器学习的一种方法。机器学习是实现人工智能的一种途径。
深度学习之基于多模态融合的商品分类方法研究与实现
Q1744828575的博客
04-29 846
项目简介：深度学习之基于多模态融合的商品分类方法研究与实现一、项目背景与目标随着电子商务的快速发展，商品分类成为提高购物体验和效率的关键环节。传统的商品分类方法主要依赖于单一的文本或图像信息，往往难以准确捕捉商品的全面特征。因此，本项目旨在利用深度学习技术，结合多模态数据融合方法，实现对商品更全面、准确的分类。二、技术方案数据收集与预处理收集包含文本、图像等多种模态的商品数据，并进行数据清洗、标注和预处理，为后续的特征提取和模型训练提供基础。特征提取与表示学习。
目标检测必学】快速理解IOU、Recall、Precision、AP、mAP检测指标
05-29
1. IOU（Intersection over Union）：交并比，也称为重叠度，是目标检测中最基本的评估指标。它表示检测出的目标框与真实目标框之间的重叠程度，可以用来判断检测结果的准确性。IOU值越高，表示检测结果与真实目标越...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值