mmdetection 学习率与batch_size关系

swust_fang

已于 2023-03-07 23:01:22 修改

阅读量4.9k

点赞数 11

分类专栏：深度学习文章标签： batch 深度学习

于 2022-06-29 17:33:31 首次发布

本文链接：https://blog.csdn.net/swust5120171204/article/details/125526211

版权

深度学习专栏收录该内容

4 篇文章 1 订阅

订阅专栏

一般mmdetection复现的文章学习率都在对应config文件下，是0.01或者0.02。

如果自己要复现论文，但是gpu数量不足，比如只有一块gpu，如何设置学习率呢

但是原论文学习率是0.01，samples_per_gpu=2，gpu_num = 8

原论文 batch_size = samples_per_gpu * gpu_num =16

batch_size和LR 成正比

如果你只有一块gpu,samples_per_gpu=8,batch_size=8,你的新的学习率lr = 0.005

如果你有两块gpu,sample_per_gpu=2,batch_size=4,那么新学习率lr=0.0025

如果你有4块gpu,sample_per_gpu=4,batch_size=16,学习率不变,lr=0.01

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

swust_fang

关注关注

11
点赞
踩
36

收藏

觉得还不错? 一键收藏
4
评论
mmdetection 学习率与batch_size关系

mmdetection 学习率与batch_size关系
复制链接

扫一扫

专栏目录

mmdetectionv1.0.0-选择几张卡训练一个模型，单机多卡开多个训练任务(还有问题)—修改config-batch图像数目，学习率下降等–训练期间测试开启-训练灰度

12-22

训练灰度如果你想训练灰度图，在这个版本，你应该： mmdetection/mmdet/datasets/pipelines/loading.py @PIPELINES.register_module class LoadImageFromFile(object): def __init__(self, to_float32=False, color_type='color'): self.to_float32 = to_float32 self.color_type = color_type def __call__(self, result

【mmdetection】mmdetection学习率设置

Gorgeous_wxd

02-25

5326

mmdetection中学习率的设置 8 gpus、imgs_per_gpu = 2：lr = 0.02； 4 gpus、imgs_per_gpu = 2：lr = 0.01； 2 gpus、imgs_per_gpu = 2 ：lr = 0.005； 1 gpu、imgs_per_gpu = 2 ：lr = 0.0025；设置规则你=1GPU*2img/GPU=2 MMdet=8GPU*2img/GPU=16 MMdet_lr=0.02 你的lr=你/MMdet*MMdet_lr=0.0025 .

4 条评论您还未登录，请先登录后发表或查看评论

MMDetection训练COCO数据集新手快速上手

最新发布

m0_63947712的博客

05-04

916

其中的.log文件具体记录了训练过程，也就是训练时屏幕显示的内容，不过似乎没有完全记录屏幕显示的内容，好像只记录了average precision，没有记录average recall，（也有可能是我没找到，还请了解的朋友指点！）所以如果对于结果要求比较全的，还是自己复制屏幕或者截图。我们在2.1中选择的模型总配置文件中，写明了需要用到的四个具体的配置文件，而在初次训练开始后，程序就会将这四个文件整合在一块，形成全面的配置文件，之后训练中断再继续训练或者训练结束增加epoch再训练时就是直接用这个文件。

利用MMDetection在标准数据集上训练预定义的模型

Mickey的博客

04-16

1688

在上次发布的帖子中，我们已经学习到如何部署安装MMDetection以及如何利用公开数据集测试被训练好的现有模型，本节将讨论如何在标准数据集上训练预定义的模型。MMDetection也为训练检测模型提供了开盖即食的工具。本节将展示在标准数据集（比如 COCO）上如何训练一个预定义的模型。

深度学习多机多卡batchsize和学习率的关系

qq_37668436的博客

04-20

1万+

前言最近的一些实验感觉碰到一些玄学的问题。总结一下：纯FC的网络，学习率对训练结果的影响很大。实验现象是这样的，把resnet50的backbone给冻结了之后，只训练后面的head部分（不是简单的几层FC，还是比较复杂的结构拼了些transformer的block还有很重的MLP），发现不同的学习率会有两个点多的浮动。单机多卡和多机多卡即使全局batchsize对齐训练结果仍有较大的diff，实验结果是差了2个多点。玄学一在没冻结backbone之前没有这样的情况出现。有点怀疑的地方是因为

mmdet2.7 doc

BetaZone

02-04

564

mmdet2.7 doc 一、安装略。二、3种数据格式 1、CustomDataset ./mmdet/datasets/custom.py ann_file可为pickle格式，即直接支持mmdet0.6中pickle格式的数据； img_prefix为图片目录路径； pipeline为数据增强管道；初始化CustomDataset对象时，传入classes更新类属性CLASSES；数据格式如下： data/ train/ # 训练图片 test/ # 测试图片 train.pkl test

（二十六）mmdetection源码解读： config配置文件之schedule(learning rate)

m0_37737957的博客

02-13

4812

optimizer 优化参数，lr为学习率，momentum动量因子，weight_decay权重衰减因子,warmup学习率热身策略

（一）MMDetection3D环境配置

m0_46556474的博客

05-29

3537

（一）MMDetection3D环境配置

openmmlab-mmclassifition

qq_47541315的博客

03-07

1102

OpenMMLab的mmclassification是一个基于PyTorch实现的开源深度学习框架，用于图像分类任务。它提供了一系列经典的图像分类模型，例如ResNet、VGG、Inception、DenseNet、MobileNet等，并且支持训练和测试这些模型。

mmdetetcion 使用经验

weixin_40968474的博客

02-03

2112

mmdetection 使用经验记录 github repository: https://github.com/open-mmlab/mmdetection 1、环境配置一定要按照pytorch官网指令安装pytorch以及其对应的库，比如我的是： conda install pytorch torchvision torchaudio cudatoolkit=10.1 -c pytorch ，这里要注意的是 -c pytorch 表示走pytorch的官方资源下载，如果要从自己配的国内源，如清华源

Pytorch单机多卡GPU的实现（原理概述、基本框架、常见报错）

夏栀的博客

01-21

5028

简单介绍pytorch如何基于DDP实现单机多卡GPU并行训练。本文提供简单的数据并行的原理概述，并通过MNIST任务样例给出如何DDP，同时给出DDP的框架。最后给出DDP常见的一些报错（持续更新）。

深度学习训练中的GPU利用率和显存占用问题、num_workers&batch_size设置问题

weixin_46515047的博客

03-26

1万+

目录前言GPU显存GPU利用率batch_size不能选取过大来占据显存总结前言在跑数据集时碰到了GPU利用率浮动的问题，上网查了查解决方案。随手看了一下相关内容。。。深度学习就那么几个参数，调多了总能碰到合适的吧。但我的GPU利用率浮动问题仍然没解决（50%-100%之间） GPU显存占GPU显存的主要是两部分，一是模型网络的加载，而是batch_size大小的设置。模型的加载很难控制（但是考虑到部署的话就要考虑模型加载需要的显存问题了），一般调节batch_size来控制显存的占用（若出现out

mmdetection的一些使用记录

qq_42145862的博客

05-12

1899

mmdetection 训练自己的模型 COCO数据集格式： mmdetection ├── mmdet ├── tools ├── configs ├── data │ ├── coco │ │ ├── annotations │ │ ├── train2017 │ │ ├── val2017 │ │ ├── test2017 修改类别数：（以一个类别为例）修改CLASSES 需要修改的地方在mmdetection/mmdet/datasets/coco.py。

mmdet之训练和推理

deep_love1314的博客

06-20

4240

mmdetection的训练和推理

【代码】mmdetection中的mmdet.datasets

FSALICEALEX的博客

08-15

6192

1.collate 1.collate 用来拼接batch中的数据。与标准的pytorch中的default_collate不同，这里的collate返回的是一个列表，每个列表中的元素是一个minibatch，应该是为了用于多个gpu，每个gpu上运行一个minibatch。 collate支持对于DataContainer数据类型的操作，对于meta data，直接拼成minibatch，返回...

mmdetection入坑日记（三）开始训练

_提拉米苏的博客

05-22

838

-----训练阶段数据集准备上一篇博客已经注明了数据集的准备设置 lr lr = 0.00125 * num_gpus * samples_per_gpu 设置 coco_detection.py 修改 root 目录，以及 train，val，json 的目录 mm2.0中的config设置 _base_ = './faster_rcnn_r50_fpn_1x_coco.py' classes = ('person', 'bicycle', 'car') data = dict( trai

【MMDetection】训练自己的数据集

ghostype的博客

12-16

5577

MMDETECTION 使用步骤建立voc数据集下载预训练权重建立mmdetection/checkpoints目录，下载对应的预训练权重, 权重文件连接（1）configs对应网络里的README.md 进入后可以通过cfg文件验证对应的weight （2）https://mmdetection.readthedocs.io/zh_CN/v2.19.0/model_zoo.html#id2 修改配置文件 mmdet/core/evalution/class_names.py

谈谈深度学习中的 Batch_Size

热门推荐

程引的专栏

11-12

13万+

谈谈深度学习中的 Batch_SizeBatch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集（ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝

【mmdetection踩坑记录】（二）non-distributed模式多卡训练

麒麒哈尔的博客

11-22

1万+

文章目录使用non-distributed模式进行多卡训练在训练过程中进行eval使用work_flow来进行控制val的过程中没有本博客内容涉及较多对代码的修改，这个前提是对train的过程有比较详细的了解，这部分详见【mmdetection实践】（二）训练自己的网络。在【mmdetection实践】（二）训练自己的网络我使用distributed模式，总是会莫名奇妙的卡住，所以就想采用non...

batch_size与学习率设置

08-20

对于深度学习模型训练中的 batch_size 和学习率设置，通常需要进行调优以获得更好的性能。下面是一些常见的指导原则： 1. Batch Size（批大小）：较大的批大小可以提高训练速度，但可能导致内存消耗过大。较小的批大小可能降低训练速度，但可以提供更稳定的梯度估计。一般而言，可以从较大的批大小开始，逐渐减小批大小直到内存不再成为问题。 2. 学习率：学习率影响模型在每次迭代中更新参数的速度。较小的学习率可以使模型更稳定，但可能需要更长的训练时间。较大的学习率可以加快收敛速度，但可能导致模型不稳定。一般而言，可以从较小的学习率开始，然后根据实验结果逐渐调整。 3. 调优策略：通常可以使用学习率衰减策略，例如每个 epoch 结束时将学习率减小一定比例。此外，还可以尝试动态调整学习率，例如在验证集上监测性能并根据表现自动调整学习率。请注意，最佳的批大小和学习率取决于数据集的大小、模型的复杂性和训练算法的选择。因此，建议进行实验和调优以找到最适合你的具体问题的设置。