【MegDet】《MegDet：A Large Mini-Batch Object Detector》

已于 2024-06-06 10:24:25 修改
阅读量427 收藏
点赞数 1
分类专栏： CNN / Transformer 文章标签： 计算机视觉 人工智能 MegDet CGBN
于 2023-07-13 21:14:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bryant_meng/article/details/131572271
版权

在这里插入图片描述

CVPR-2018

文章目录

1 Background and Motivation

在这里插入图片描述

近些年目标检测效果的提升集中在 novel network, new framework, or loss design，少有关注 batch-size 层面，分类任务 batch-size 很大，检测任务很小

实录 | 旷视研究院解读COCO2017物体检测夺冠论文（PPT+视频） 在这里插入图片描述

小 batch-size 的缺点

实录 | 旷视研究院解读COCO2017物体检测夺冠论文（PPT+视频）
在这里插入图片描述

the small mini-batch size is not applicable to re-train the BN layers.（ ImageNet 预训练，COCO fine-tune，fine-tune 的时候 BN 冻结了——usually fix the statistics of Batch Normalization and use the pre-computed values on ImageNet dataset）

为啥缺点中说正负样本失衡

在这里插入图片描述
在这里插入图片描述
比如 batch-size 较大的时候，图 （c）和图（d）在一个 batch 正负样本会比仅图（c）要更均衡一些

检测任务能不能也加大 batch-size，提速的同时保证精度不掉或者更好呢？

CVPR 2018 | 旷视科技物体检测冠军论文——大型Mini-Batch检测器MegDet在这里插入图片描述

2 Related Work

  • CNN-based detectors
    • one stage
    • two stage
  • Large mini-batch training

3 Advantages / Contributions

  • new interpretation of linear scaling rule（等梯度方差而非等梯度）
  • 提出 MegDet，其中 Cross-GPU Batch Normalization（CGBN） 技术大幅度提升目标检测任务的 batch-size，又快又好（33 hours to 4 hours）
  • COCO 2017 Challenge，1st place of Detection task.

4 Method

4.1 Learning Rate for Large Mini-Batch

(1) Variance Equivalence

Linear Scaling Rule，batch-size scale，learning rate 也相应的 scale，是基于 gradient equivalence assumption in the SGD updates

目标检测任务的 batch-size 比较小，分类任务的 batch-size 比较大，假设各 batch 间 gradient equivalence 在 batch 比较小的时候似乎有点不妥
在这里插入图片描述

作者假设各 batch 的 gradient variance 是 equivalence，重新进行了推导，得到了同 Linear Scaling Rule 一样的结论

在这里插入图片描述

MegDet 论文笔记
作者在等方差条件下推导了equivalent learning rate rule(batch s i z e ∗ k size*k size∗k 则 l r ∗ k lr*k lr∗k)，而不是等梯度条件

（2）Warmup Strategy

实录 | 旷视研究院解读COCO2017物体检测夺冠论文（PPT+视频） 在这里插入图片描述

4.2 Cross-GPU Batch Normalization

当时 batch normalization 都是在单张卡上做的，作者实现了多卡算子

在这里插入图片描述

在这里插入图片描述

“AllReduce” operation to aggregate the statistics.

use NVIDIA Collective Communication Library (NCCL) to efficiently perform AllReduce operation for receiving and broadcasting.

s 1 s_1 s1​ / s 2 s_2 s2​ / … / s n s_n sn​ reduce μ B \mu_B μB​

v 1 v_1 v1​ / v 2 v_2 v2​ / … / v n v_n vn​ reduce σ B 2 \sigma_B^2 σB2​

5 Experiments

数据集 COCO

As for large mini-batch, we use the sublinear memory and distributed training to remedy the GPU memory constraints.

关于 sublinear memory，来自 《Training Deep Nets with Sublinear Memory Cost》（arXiv-2016）陈天奇

如何减少神经网络的内存？
在这里插入图片描述

对大规模 model training 感兴趣，请问有相关推荐的文章吗？ - Connolly的回答 - 知乎
在这里插入图片描述

实录 | 旷视研究院解读COCO2017物体检测夺冠论文（PPT+视频）
在这里插入图片描述

计算换内存，占用空间较大的中间变量重复计算，来减少内存的策略

5.1 Large mini-batch size, no BN

在这里插入图片描述
没 BN 容易飞

5.2 Large mini-batch size, with CGBN

在这里插入图片描述
long 指的是更长的 train policy

在这里插入图片描述
用了大 batch 以后，前期效果不如小 batch，这点和分类任务有出入
在这里插入图片描述

感受下检测结果

在这里插入图片描述

其他的涨点策略

在这里插入图片描述
《论文研读系列》 A Large Mini-Batch Object Detector

在这里插入图片描述
CVPR 2018 举办地，Hawaii

6 Conclusion

摘抄一些论文解读的文章

CVPR 2018 | 旷视科技物体检测冠军论文——大型Mini-Batch检测器MegDet

在这里插入图片描述

学习率线性尺度原则（LSR）另外一种解释

在这里插入图片描述

12分钟训练COCO模型！速度精度双提高

在这里插入图片描述

Batch Normalization和它的“后浪”们
在这里插入图片描述

附录——R Talk | 旷视科技目标检测概述：Beyond RetinaNet and Mask R-CNN

R Talk | 旷视科技目标检测概述：Beyond RetinaNet and Mask R-CNN

在这里插入图片描述

bryant_meng
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MegDet 与 Synchronized BatchNorm
yiran103的专栏
07-01 7987
深度学习时代的目标检测发展——从 R-CNN、Fast/Faster R-CNN 到最近的 MaskR-CNN 和 RetinaNet，主要来自新网络、新结构或损失设计。然而，作为深度神经网络训练的一个关键因素，mini-batch 的大小在目标检测方面还没有很好地进行研究。本文提出了一种大 mini-batch 目标检测器（MegDet），可以实现最大 mini-batch 为256的训练，从而...
MegDet论文详解(coco2017检测冠军)
木盏
10-17 1918
Face ++在COCO竞赛中大放异彩，在多个领域获得COCO 2017的冠军。其中，由彭超研究院带领的检测团队获得了检测项目的冠军。同时，对应论文也发表在CVPR 2018上，属于spotlight论文。 论文标题：MegDet: A Large Mini-Batch Object Detector》 论文地址：https://arxiv.org/pdf/1711.07240.pdf 摘要 ...
【机器视觉】旷视研究院解读COCO2017物体检测夺冠论文
产业智能官
12-25 3634
主讲人：彭超 | 旷视研究院研究员屈鑫 整理编辑量子位·吃瓜社 出品 | 公众号 AI7gua12月6日晚，量子位·吃瓜社联合Face++论文解读系列第一期开讲，本期中旷视（Megvii）研究院解读了近期发表的物体检测论文：《MegDet:A Large Mini-Batch Object Detector》，基于此篇论文提出的MegDet模型，Face++摘下COCO 2017 Detectio
MegDet：大mini-batch 检测器
年轻即出发，
06-25 2813
MegDet为face++ 提出的通用检测框架。整体结构为类似于faster RCNN的2层结构，基础网络类似于Resnet50。 获得了2017 COCO检测第一名，发表于cvpr 2018。 文章主要讲解大mini-batch这个训练技巧，实现了在大mini-batch下的精度提升1.5个点。   小mini-batch的缺点： （1）训练时间太长。 （2）小的batch对于b...
论文阅读笔记（三十七）：MegDet: A Large Mini-Batch Object Detector
sunshine_010的博客
04-24 3131
The development of object detection in the era of deep learning, from R-CNN [11], Fast/Faster R-CNN [10, 31] to recent Mask R-CNN [14] and RetinaNet [24], mainly come from novel network, new framework...
spring-batch-multithreaded:spring-batch-多线程
06-29
Spring Batch 多线程示例有两个 RDBMS（它们在应用程序的 Oracle 模式下用 H2 模拟）。 我们必须从第一个 DB 的 CLOB 字段中提取一些 XML，通过多个线程使用给定的 XSL 对其进行转换，然后将转换后的 XML 插入到第二...
Android-Batch-Pack:Android-Batch-Pack可以每次批量打包和修改umeng的频道标签
05-16
Android-Batch-Pack 目前我知道的批量打包渠道包的方法有三种： 1、ant 2、gradle gradle配置文件： 3、META-INF写入文件（推荐这种方法） 本项目是方法1用ant实现的打包，推荐使用方法3，方法3无需签名，不用编译...
神经网络里的mini-batch算法.zip
08-28
在神经网络的学习与实践中，Mini-Batch梯度下降算法是一种广泛应用的优化策略，它结合了批量梯度下降和随机梯度下降的优点。批量梯度下降每次迭代更新权重时使用整个训练集，计算精确但效率较低；而随机梯度下降则...
IEC 61512-1：1997 批量控制 - 第一部分：模型和术语 - 完整英文版（189页）
11-19
完整英文版 IEC 61512-1：1997 Batch control - Part 1：Models and terminology （批量控制 - 第一部分：模型和术语）。定义过程工业中使用的批次控制参考模型和有助于解释这些模型和术语之间关系的术语。 可能不...
IEC 61512-4：2009 批量控制 - 第四部分：批量生产记录 - 完整英文版（147页）
11-19
完整英文版 IEC 61512-4：2009 Batch control - Part 4：Batch production records（批量控制 - 第四部分：批量生产记录）。IEC 61512-4:2009 定义了批次生产记录的参考模型，其中包含有关批次生产或批次生产要素的...
【转】旷视科技Face++公开COCO2017冠军模型
lanyuxuan100的博客
12-20 2016
转自：http://www.chinaz.com/news/2017/1204/834503.shtml 今年 ICCV2017 会议期间，COCO +Places2017 挑战赛公布了获奖榜单。在COCO Challenge 和 Places Challenge 两个板块的七项比赛中，旷视科技（Face++）拿下了 COCO Detection/Segmentation Challenge
CVPR 2018 目标检测（Object Detection）
热门推荐
sunshine_010的博客
04-19 1万+
Cascade R-CNN: Delving into High Quality Object Detection In object detection, an intersection over union (IoU) threshold is required to define positives and negatives. An object detector, trained wi...
综述：深度学习时代的目标检测算法
03-19 2761
目标检测算法脉络 综述：深度学习时代的目标检测算法更新算法至2017.12.31目前目标检测领域的深度学习方法主要分为两类：two stage的目标检测算法；one stage的目标检测算法。前者是先由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类；后者则不用产生候选框，直接将目标边框定位的问题转化为回归问题处理。正是由于两种方法的差异，在性能上也有不同，前者在检测准确率和定位精度...
YOLOv8目标跟踪deepsort
爱编程的鱼的博客
07-16 864
4） “gt_query”——matlab 格式，用于判断一个 query 的哪些图片是好的匹配（同一个人不同摄像头的图像）和不好的匹配（同一个人同一个摄像头的图像或非同一个人的图像）5） “gt_bbox”——手工标注的 bounding box，用于判断 DPM 检测的 bounding box 是不是一个好的 box。00 表示手工标注框。3） “query”——为 750 人在每个摄像头中随机选择一张图像作为 query，因此一个人的query 最多有 6 个，共有 3,368 张图像。
R-CNN、Fast R-CNN和Faster R-CNN：目标检测的进化之路
大数据实战派
07-16 483
从R-CNN到Fast R-CNN，再到Faster R-CNN，目标检测技术经历了一次次的进化，每一步都在效率和精度上取得了显著的提升。这些算法不仅在学术界引起了广泛关注，也在实际应用中展现了巨大的潜力。无论是自动驾驶、智能监控，还是图像识别，目标检测技术都在不断推动着计算机视觉的发展，带给我们更加智能和安全的生活。
【TensorRT】Yolov5-DeepSORT 目标跟踪
weixin_44286126的博客
07-16 709
YOLO DeepSORT的C++&TensorRT实现
＜数据集＞钢铁缺陷检测数据集＜目标检测＞
qq_53332949的博客
07-16 238
YOLO与VOC格式的钢铁缺陷检测数据集，适用于YOLO系列、Faster Rcnn、SSD等模型训练
＜数据集＞铁轨缺陷检测数据集＜目标检测＞
最新发布
qq_53332949的博客
07-17 523
YOLO与VOC格式的铁轨缺陷检测数据集，适用于YOLO系列、Faster Rcnn、SSD等模型训练，类别：Spalling、Squat、Wheel Burn
"args": ["--batch_size", "8", "--imgsize", "680"]
06-06
print(f"Batch size: {args.batch_size}") print(f"Image size: {args.imgsize}") ``` 在这个例子中，`parse_args()`会读取`--batch_size`和`--imgsize`参数，并将它们转换成对应的类型（在这里是整数）。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值