WBF(Weighted boxes fusion)-模型融合与NMS、soft-NMS

最新推荐文章于 2024-08-09 07:48:53 发布
最新推荐文章于 2024-08-09 07:48:53 发布
阅读量3.3k 收藏 14
点赞数 7
分类专栏： 算法 物体识别 人工智能 文章标签： 计算机视觉 机器学习
人工智能 同时被 3 个专栏收录
150 篇文章 23 订阅
订阅专栏
算法
38 篇文章 2 订阅
订阅专栏
物体识别
5 篇文章 0 订阅
订阅专栏

1 简介

本文根据2021年《Weighted boxes fusion: Ensembling boxes from different object detection models》翻译总结的。

NMS、soft-NMS的方法是去除一些预测的物体box，而WBF(Weighted boxes fusion)是利用的所有box的信息进行融合。

不过WBF在融合多个模型的结果上效果好于NMS、soft-NMS，但如果只是处理单个模型，其效果没有NMS、soft-NMS的好，是因为NMS、soft-NMS在处理很多低可信度的box过滤上效果好吧。

此外WBF的运行速度慢于NMS，平均大约比NMS慢3倍吧。

non-maximum weighted (NMW)方法的思想类似WBF，但是NMW没有改变可信度得分，它使用intersection-over- union (IoU)来权重处理box。

2 NMS

在WBF(Weighted boxes fusion)之前，我们先介绍下NMS、soft-NMS。

NMS（non-maximum suppression）：首先根据检测box的可信度得分排序，接着选择拥有最大可信度得分的box。其中box被认为属于某个单独物体，是要看intersection-over- union (IoU) 高于某个阈值（threshold），如0.5. 如下面图片，NMS算法只取可信度得分最高的，即只有红色的框。而实际上丢失了另外两匹马。
在这里插入图片描述

3 Soft-NMS

Soft-NMS:不是直接根据Iou和可信度得分去除候选box，而是会根据IoU的值按比例调整box的可信度得分。如上图，绿色的box和黄色的box有明显的重叠，就会去除绿色的。即soft-NMS算法检测出两个box，黄色和红色的。

4 Weighted Boxes Fusion

假设有N个模型。

  1. List B：每个模型的预测box都放到该list里，按可信度分数C降序排序。
  2. List L：box的簇（cluster）的集合；List F： 融合（fused）box的集合。在 list L的每一个位置包含一个box集合（也可能只有一个box），其形成一个簇（cluster）。在List F的每个位置只有一个融合box，其对应着L中的簇（cluster）。
  3. 循环迭代List B，尝试在F中找到一个匹配的box。如果IoU阈值超过某个值就认为找到匹配的。我们实验中阈值采用的0.55.
  4. 如果没匹配到（和F比较的），就将来自B的这个box添加到list L和List F的末端。接着处理B中下一个box。
  5. 如果匹配到（和F比较的），就将来自B的这个box添加到list L对应的位置的簇（cluster）。
  6. list L对应的位置的簇（cluster）重新计算list F中box的坐标和可信度得分，簇（cluster）中有T个box。公式如下：
    在这里插入图片描述

如公式所述，拥有较大可信度得分C的box对融合（fused）box的贡献度更大。

  1. 当B中的所有box都处理完后，重新缩放list F中的可信度得分C。乘以簇（cluster）中box的数量T，除以模型数量T。如果一个簇（cluster）中的box数量降低，可能意味着只有很少的模型预测到它，所以我们需要降低其可信度得分。
    在这里插入图片描述

在这里插入图片描述

5 实验结果

如下表,WBF只融合了两个模型EffDetB6和EffDetB7，就取得了很好的效果。

在这里插入图片描述

下表是融合多个模型的效果。

在这里插入图片描述

CVPR2021目标检测佳作 | Weighted boxes fusion（附github源码及论文下载）
gzq0723的博客
03-13 1322
欢迎关注“计算机视觉研究院”计算机视觉研究院专栏作者：Edison_G目标检测是计算机视觉系统中的一项关键任务，在自动驾驶、医学成像、零售、安全、人脸识别、机器人技术等领域都有广泛的应用。...
基于YOLOv5和加权盒融合（WBF）的水下图像数据检测荆棘冠海星（COTS）
05-25
经过训练的模型和指标 经过训练的模型和结果存储在 /Model 下，包括所有输出文件。该模型采用 pytorch 格式，即 model_name.pt。所有模型都以 1280 x 720 的分辨率进行训练，并且仅使用带框的图像。对于增强，我们混合使用翻转、比例、HSV、马赛克等。为了验证，我们使用组 k 折叠 （k=3），也就是说，同一个组不会出现在两个不同的折叠中。整体架构基于 YOLOv5 设计。我们针对不同的时代训练了 yolov5s6 和 yolov5n6。由于 colab 的运行时限制，我们无法训练像 yolov5l6 这样可能具有更好性能的更复杂的模型。在这种情况下，我们使用集成方法来优化我们的模型。 整体 我们使用合奏方法来升级我们的模型性能。只要基础模型是多样化和独立的，当使用集成方法时，预测误差就会降低。在这里，我们使用一种最先进的方法来组合目标检测模型的预测：加权盒融合（WBF）。与简单地删除部分预测的 NMS 和软 NMS 方法不同，Roman Solovyev 等人于 2019 年引入的加权框融合 （WBF） 方法使用所有建议的边界框的置信度分数来构建平均框。
Weighted-Boxes-Fusion:集合来自不同对象检测模型的盒子的方法集，包括“加权盒子融合（WBF）”方法的实现
05-04
加权盒融合 存储库包含Python方法的几种实现，这些方法用于组合对象检测模型中的框： 非最大抑制（NMS） 软网管 非最大加权（NMW） 加权框融合（WBF） -与其他方法相比，可以提供更好的结果的新方法 要求 Python 3。*，Numpy，Numba 安装 pip install ensemble-boxes 用法示例 预计将标准化的框的坐标，例如，范围为[0; 1]。 顺序：x1，y1，x2，y2。 下面的2种型号的盒装示例。 第一个模型预测5个盒子，第二个模型预测4个盒子。 每个盒子模型的置信度得分1：[0.9、0.8、0.2、0.4、0.7] 每个盒子模型2的置信度得分：[0.5、0.8、0.7、0.3] 每个包装盒型号1的标签（类）：[0，1，0，1，1] 每个盒子模型2的标签（类）：[1、1、1、0] 我们将第一个模型的权重设置为2，将第二个模型
Weighted Boxes Fusion加权检测框合并
木盏
09-26 671
在研究目标检测算法的时候，通常会遇到如何稀疏化检测框这个问题。无论是anchor-based还是anchor-free的检测算法，输出的检测框在未经处理的时候，都很容易出现很多重复度很高的box, 这样从一定程度上会影响模型的准确率。通常，NMS是比较常用的合并检测框的方法，不了解的可以戳《NMS》。 本文介绍的是WBF，一种加权的检测框合并算法，也适用于与多模型的预测结果合并。
【论文阅读】Weighted Boxes Fusion（WBF）模型融合原理解读
糯米丸子TAT的博客
06-17 1721
WBF综合考虑所有模型的输出结果并进行融合，是提升模型效果常用的策略之一。
Weighted Boxes Fusion
如果想成为中心，那么就到中心去吧。
08-24 2837
paper：https://arxiv.org/pdf/1910.13302.pdf code: https://github.com/ZFTurbo/Weighted-Boxes-Fusion 前言 我们了解NMS及其soft-NMS。但在这篇博文将简单介绍下WBF(加权框融合)，该方法在开放图像数据集中取得了较大的提高。 WBF的优势 NMS和soft-NMS都排除了一些框，但是WBF利用了所有框的信息。它可以解决某些情况下，模型预测的框不准确。NMS将只能留下一个不准确的框，而WBF将使用来自3个框
加权框融合 WBF（Weighted Boxes Fusion: combining boxes for object detection models）
Yemiekai的博客
06-12 9897
文章PDF地址：https://arxiv.org/abs/1910.13302 GitHub地址：https://github.com/ZFTurbo/Weighted-Boxes-Fusion 简介 作者认为，在目标检测任务中，当实时性要求不强时，集成多个推理模型有助于我们得到更好的结果。 于是作者在文中提出了一种方法，可以把多个目标检测模型的预测结果结合起来。 这个方法称为 weighted boxes fusion，简称 WBF 。 在筛选预测框的过程中，常用的方法是非极大值抑制（non-maxi
目标检测佳作：Weighted boxes fusion（附github源码及论文下载）
gzq0723的博客
09-28 208
欢迎关注“计算机视觉研究院”计算机视觉研究院专栏作者：Edison_G目标检测是计算机视觉系统中的一项关键任务，在自动驾驶、医学成像、零售、安全、人脸识别、机器人技术等领域都有广泛的应用。目前，基于神经网络的模型被用于对特定类目标的实例进行定位和分类。长按扫描二维码关注我们回复“WBF”获取论文及Github代码1、动机&摘要当不需要实时推理时，模型的整合就有助于获得更好的结果。在这项工作...
目标检测加权框融合 WBF（Weighted Boxes Fusion）
YXD0514的博客
08-30 723
WBF(Weighted Boxes Fusion)加权边界框融合算法解读，竞赛刷分必备。
Weighted Boxes Fusion 库教程
最新发布
gitblog_00390的博客
08-09 710
Weighted Boxes Fusion 库教程 Weighted-Boxes-FusionSet of methods to ensemble boxes from different object detection models, including implementation of "Weighted boxes fusion (WBF)" method.项目地址:https://g...
【AI面试】NMS 、 Soft NMS 、NMS Free 和 WBF 的辨析
钱多多先森
03-04 1019
nms算法汇总辨析
【Kaggle比赛】DFL 德甲足球事件检测大赛（CV·目标检测-视频分类）
击水三千里的专栏
04-10 290
在这场足球事件检测比赛中，参赛者需要开发一个计算机视觉模型，目标是自动识别和分类长视频中的传球、掷界外球、传中球以及挑战等事件。这将有助于从未探索的比赛和训练课程中自动化地收集数据。比赛要求提交的解决方案必须在笔记本电脑上运行，且运行时间有限制。允许使用公开数据和预训练模型。参赛者需要处理视频，抽取帧，进行图像分类，并可能使用数据增强技术如Albumentations库来提高模型的泛化能力。集成不同模型，如YOLO和DeepSORT，可以提高检测和跟踪的准确性。最终，参赛者需要将检测到的事件及其时间戳保存到
计算机视觉系列-全球小麦检测Kaggle比赛学习笔记trick专题 （9）
段智华的博客
01-29 775
计算机视觉系列-全球小麦检测Kaggle比赛学习笔记trick专题 （9） 计算机视觉系列-全球小麦检测Kaggle比赛学习笔记trick专题上集 （8）https://duanzhihua.blog.csdn.net/article/details/113398906 计算机视觉系列-全球小麦检测Kaggle比赛学习笔记（7） https://duanzhihua.blog.csdn.net/article/details/113386405 目录 测试阶段trick总览Pseudo-LabellingM
WBF模型融合
weixin_50915507的博客
08-15 406
作者认为，在目标检测任务中，当实时性要求不强时，集成多个推理模型有助于我们得到更好的结果。于是作者在文中提出了一种方法，可以把多个目标检测模型的预测结果结合起来。这个方法称为 weighted boxes fusion，简称 WBF。在筛选预测框的过程中，常用的方法是非极大值抑制（non-maximum, NMS），还有一种 soft-NMS 方法也被用于改进筛选性能。这些方法在单个模型上效果不错，但只能简单地从预测框中，“筛选” 框框。不能有效地结合多个模型的预测结果来产生一个平均的框框。
目标检测之WBF：Weighted Boxes Fusion
qq_41917697的博客
05-31 932
目标检测之WBF：Weighted Boxes Fusion 禁止任何形式的转载!!! 《Weighted boxes fusion: Ensembling boxes from different object detection models》 论文地址：https://arxiv.org/pdf/1910.13302.pdf WBF是后处理的一种方式，实现过程如下： 融合时的公式： 最后，还进行了一步 置信度分数调整，但个人觉得不是一定需要的，官方代码里默认是公式(5)： 其中N是所有的框，T
WBF：优化目标检测，融合过滤预测框
lyk_ffl的专栏
04-22 3124
导读 WBF已经成为优化目标检测的SOTA了。 目标检测是计算机视觉中最常见、最有趣的任务之一。最近的SOTA模型，如YOLOv5和EfficientDet，令人印象深刻。本文将介绍一种新的SOTA新技术，称为加权框融合，它优化了一个很大的目标检测问题。这是一种先进的目标检测技术，我是在当前的VinBigData Kaggle比赛中遇到它的。 如果你熟悉目标检测的工作原理，你可能知道总有一个主干CNN来提取特征。还有另一个阶段，要么生成区域建议(可能的边界框)，要么过滤已经提出的建议区域。这里的主
6-16 模型融合& WBF
qq_33031419的博客
06-16 2500
模型融合方法学习总结： https://www.cnblogs.com/libin47/p/11169994.html Weighted Boxes Fusion: ensembling boxes for object detection models： https://arxiv.org/abs/1910.13302 https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247498164&idx=3&s..
Weighted Boxes Fusion 源码解析
m0_46179553的博客
07-15 664
文章地址https://arxiv.org/abs/1910.13302， 代码https://github.com/ZFTurbo/Weighted-Boxes-Fusion 加权框融合作为目标检测类比赛中常用的tricks，在这里简单做一下代码上的解析，有错误的地方还请各位指正 源码 # coding: utf-8 __author__ = 'ZFTurbo: https://kaggle.com/zfturbo' import warnings import numpy as np from nu
wbf改进yololov5
07-28
根据引用\[1\]，可以了解到关于改进Yolov5的Weighted Boxes Fusion (WBF)的方法。WBF是一种用于目标检测的后处理技术，旨在提高模型的准确性和鲁棒性。WBF通过将多个模型的预测框进行融合，生成最终的检测结果。 根据引用\[2\]，在改进Yolov5中，可以尝试将原始的PANet层替换为BiFPN结构。BiFPN是一种在EfficientDet论文中提出的结构，具有更好的性能。通过使用BiFPN，可以改进Yolov5的neck部分，从而提高模型的检测能力。 此外，根据引用\[3\]，除了WBF和模型结构的改进，还应考虑迁移学习、图像增强、模型复杂性、预处理和后处理技术等方面来提高Yolov5的性能。这些方面都是可以通过调整和优化来提升Yolov5模型的表现。 综上所述，通过使用WBF进行后处理、尝试使用BiFPN替换PANet层以及考虑其他方面的优化，可以改进Yolov5模型的性能。 #### 引用[.reference_title] - *1* *3* [高级YoloV5指南，使用WBF来提升目标检测性能](https://blog.csdn.net/u011984148/article/details/115804667)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [【实验记录】yolov5的一些改进tricks总结--持续更ing](https://blog.csdn.net/crush111/article/details/121142674)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值