关于深度学习训练周期，训练时间表，训练时刻表，训练策略的说明——Training Schedules，Lr schd，1x，2x，mmDetection和Detectron中训练周期次数对比

最新推荐文章于 2025-03-11 14:57:19 发布
最新推荐文章于 2025-03-11 14:57:19 发布
阅读量6.9k 收藏 24
点赞数 14
分类专栏： 深度学习 文章标签： 深度学习 机器学习 神经网络 pytorch mmDetection
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wonyoungsen/article/details/108008555
版权
本文深入探讨了深度学习中常见的1x和2x训练策略，包括它们的起源、具体实施方式以及在COCO数据集上的应用。1x策略指在总batch size为16时，初始学习率为0.02，特定轮次后学习率降低，总训练轮次为9万。2x策略则是在1x基础上延长训练时间和调整学习率的位置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

记录一下关于深度学习常用的训练策略说明：

ID：wonyoungsen

通常的框架或者论文都会提到训练周期关于1x和2x，她的来历最初是从Detectron来的，在她的MODEL_ZOO.md介绍里面有关于Training Schedules的说明，可以去详细看一下。

  • 1x 策略表示：在总batch size为16时，初始学习率为0.02，在6万轮和8万轮后学习率分别下降10倍，最终训练9万轮。
  • 2x 策略为1x策略的两倍，同时学习率调整位置也为1x的两倍。

其中，mmDetection采用与Detectron相同的训练时间表。1x表示12个epoch,而2x表示24个epoch,这比Detectron的迭代次数略少,并且可以忽略不计。
在coco2014和2017中数据集中总共118287张图片，所以Detectron计算下来大概是12.17个epoch。

/---------------------------------------------------------------------------
三木每森
wonyoungsen

Tensorflow 2.x(keras)源码详解之第九章：模型训练和预测的三种方法(fit&tf.GradientTape&train_step&tf.data)
weixin_43178406的博客
05-16 6万+
文章目录1. 模型训练和预测步骤2. 使用内置方法fit进行训练和评估2.1 简单案例解析2.2 compile编译2.3 处理非标准化的损失和评估指标：add_loss&add_metric2.4 自动切分验证集2.5 使用tf.data数据进行训练2.6 使用tf.keras.utils.Sequence数据进行训练2.7 多输出，指定不同的损失函数和评估指标2.8 样本不均衡：类权重和样本权重2.9 使用回调(callbacks)2.10 学习率衰减3. 从头开始编写循环训练3.1 fit源码
【2025算法面试通关】【三.深度学习-训练技巧】【25. 深度学习核心技术面试100题：BatchNorm与学习率衰减详解】
最新发布
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
04-09 490
答：继承。
detectron2：训练过程
weixin_44768052的博客
07-21 1404
DefaultTrainer从config初始化，包含了一些允许用户自定义的更加标准化的操作，比如优化器的选择、学习率的规划、记录日志、保存模型、评测模型等。1.SimpleTrainer提供了最简单的单损失，单优化器，单数据集的训练循环，没有其它的任何功能（包括保存，记录等），这些功能可以通过hook来实现。,这个函数其实就是平常我们在编写训练过程的代码，例如读数据，训练模型，获取损失值，求导数，反向梯度更新等,只不过在这个类里面没有定义。，用来处理训练之前、之后需要准备、收尾的工作。...
深度学习2-torch代码入门1-cpu&gpu运行时间对比
ding_zhikai的博客
05-21 504
pytorch: cpu 与 gpu 运算矩阵乘积 时间对比
理解深度学习训练中的 Epoch
qq_45670407的博客
03-11 1335
在深度学习中，我们不会一次性将整个数据集输入到神经网络，而是将数据分成多个。在每个 Epoch 之后，模型会更新参数，使其更好地拟合数据。，并使用这些数据更新模型参数的过程。在深度学习的训练过程中，，逐个输入进行训练。
深度学习训练多少轮？迭代多少次？
热门推荐
gu1857035894的博客
06-11 2万+
深度学习是当今最火的研究方向之一。它以其卓越的学习能力，实现了AI的关键功能。一般来说，深度学习一次肯定是不够的，那么深度学习训练多少轮？迭代多少次？大家所关心的问题，解答来了。深度学习训练迭代多少次？翻了翻各位大牛的研究成果，有训练10个迭代的，有30个，甚至也有1万个以上的。这就让小白迷茫了，到底训练多少次合适?训练的检验标准是什么?有一些大牛上来直接就说训练多少次，也不解释为什么，就说是凭经验，这种我们学不来。还有一些专家给出了一些理由，我们来总结一下。01 当loss值收敛时结束迭代深度学习的一个关
深度学习训练工具包Tools——TimeSpent时间记录工具
weixin_50727642的博客
08-28 616
工具包Tools——TimeSpent时间记录 提示：和https://blog.csdn.net/weixin_50727642/article/details/119965189 中的GetLogging使用效果更好 """ # -*- utf-8 coding -*-# 作者：沐枫 日期：2021年07月22日 用来记录训练所用的时间 """ import datetime class TimeSpent: def __init__(self): self.__sta
（六）深度学习实战 | MMDetection笔记（3）
Skies_的博客
08-22 1713
深度学习实战 | MMDetection笔记（3）
深度学习训练的突破：循环学习率优化策略
![深度学习训练的突破：循环学习率优化策略]...循环学习率（CLR）是一种优化策略，它通过周期性地改变学习率来提高深度学习模型的训练效率和性能。与传统的单调递减
循环学习率优化策略：深度学习训练的终极指南
[循环学习率优化策略：深度学习训练的终极指南](https://www.deepspeed.ai/assets/images/1cycle_lr.png) # 1. 深度学习训练中的优化策略** 深度学习模型的训练需要使用优化算法来最小化损失函数。常见的优化算法...
关于tf2的自定义训练方式
NLP与推荐算法
11-17 292
自定义tf2模型从入门到飞起
笔记：Training Schedules
06-29 514
mmdetection， detectron2中常见的，例如： mask_rcnn_r101_fpn_1x_coco.py mask_rcnn_r101_fpn_2x_coco.py 1x, 2x表示epoch、和lr下降规则的设置。 1x 表示：在总batch size为16时，初始学习率为0.02，在6万轮和8万轮后学习率分别下降10倍，最终训练9万轮 2x 策略为1x策略的两倍，同时学习率调整位置也为1x的两倍。 ...
Training/Lr Schedules说明
风筝大晒的博客
09-18 2998
文章目录Training/Lr Schedules说明Detectron中的Training SchedulesMMDetection中的Training SchedulesReferences Training/Lr Schedules说明 我们经常在论文中的描述或开源项目中的表格对比中可以看到1x/2x/3x training/lr schedule\text{1x}/\text{2x}/\text{3x} \space \text{training/lr schedule}1x/
深度学习及论文中相关术语解析
David's Tweet
01-18 3777
1、Model Capacity 模型拟合能力。 2、Generalization 泛化能力。 一个网络的generalization能力是由网络的capacity和训练数据量共同决定的。网络capacity越大越能捕捉训练数据的细枝末节（高频），所以越容易overfit（在训练数据的高频noise上），从而generalization不佳。所以在训练数据无穷的极限条件下，网络的generalization能力与其capacity成正比。那么提高网络的泛化性能就可以理解为1. 增加训练数据；2.
2019 DENSE-HAZE: A BENCHMARK FOR IMAGE DEHAZING WITH DENSE-HAZE AND HAZE-FREE IMAGES
zhouaho2010的博客
09-24 2334
Dense—Haze数据集下载：Dense_Haze浓雾数据集-深度学习文档类资源-CSDN下载 ABSTRACT 单图像去模糊处理是一个最近引起重要关注的不适定问题。尽管在过去的几年中，人们对去雾方法的兴趣显著增加，但由于缺乏真正的模糊和相应的无雾参考图像对，去雾方法的验证仍然在很大程度上不令人满意。为了解决这一限制，我们引入了密集的雾霾Dense-Haze——一个新的去雾霾数据集。密雾以密集、均匀的朦胧场景为特征，包含33对真实的朦胧和相应的无雾霾图像。通过引入由专业的雾霾机产生的真实的雾霾，记录了朦胧
干货 | 深度学习名词表：57个专业术语加相关资料解析（附论文）
风翼冰舟的博客
10-30 8072
机器之心编译  参与：吴攀 微信公众号：almosthuman2014）授权转载，禁止二次转载，点此为原文链接 本文整理了一些深度学习领域的专业名词及其简单释义，同时还附加了一些相关的论文或文章链接。本文编译自 wildml，作者仍在继续更新该表，编译如有错漏之处请指正。文章中的论文与 PPT 读者可点击阅读原文下载。 激活函数（Activation Fun
【Detectron2】使用 Detectron2 训练基于 coco 数据集的目标检测网络
呆呆的猫的博客
06-15 1万+
用 Detectron2 训练基于 coco 数据集的目标检测网络
mmdetection目标检测训练过程参数解读
知北行的博客
05-19 4340
关于训练过程中日志记录的的map, 包含很多map, 如下 {"mode": "train", "epoch": 100, "iter": 400, "lr": 0.0002, "memory": 5010, "data_time": 0.01552, "loss_rpn_cls": 0.00029, "loss_rpn_bbox": 0.0016, "loss_cls": 0.01206, "acc": 99.49316, "loss_bbox": 0.01724, "loss": 0.03119, "t
深度学习1.描述ai模型训练流程
04-03
### 深度学习 AI 模型训练的基本流程 深度学习模型的训练是一个复杂的过程，涉及多个关键步骤。以下是详细的训练流程： #### 1. 数据准备 在开始训练之前，需要准备好高质量的数据集。这通常包括数据收集、清洗、预处理以及划分成训练集、验证集和测试集。 #### 2. 模型选择与构建 根据具体任务的需求，选择适合的模型架构。常见的深度学习框架如 TensorFlow 和 PyTorch 提供了许多现成的网络结构模板[^1]。如果已有合适的基础模型，则可以考虑迁移学习以减少训练时间和资源消耗。 #### 3. 配置训练环境 由于深度学习模型往往规模庞大且计算密集，因此通常依赖于 GPU 或 TPU 等高性能硬件加速设备来进行高效运算。此外还需要安装相应的软件库版本匹配好。 #### 4. 定义损失函数与优化器 为了指导神经网络朝着正确的方向调整权重参数，在此阶段需选定恰当类型的损失函数用来衡量预测值同真实标签间的差距；同时也要挑选一种高效的优化算法比如随机梯度下降(SGD)，Adam等，并设定初始学习速率等相关超参配置[^2]。 #### 5. 执行训练循环 整个训练过程由若干次完整的 epoch 组成，在每次 epoch 中又细分为针对不同 mini-batch 的迭代操作如下所示: - **外层循环 (Epoch)** : 控制整体训练轮数。 - **数据加载**: 利用 DataLoader 将大规模原始样本分批送入内存以便后续处理[^4]。 - **重置指标**: 开始新一轮前先归零累积统计量例如累计loss值计数器reset(). - **内层循环(Batch)** : - 对当前 batch 内部逐条记录执行以下子环节: * 初始化隐藏状态(仅限RNN类). * 前向传播(feedforward): 把输入传递给已定义好的model实例得到output. * 计算损失(loss computation): 调用指定criterion方法对比outputs vs targets得出scalar数值表示error magnitude. * 反向传播(backpropagation): 自动求导机制生成grads w.r.t all learnable params; 清除旧gradients via zero_grad(); apply backward pass to populate new ones. * 参数更新(param update): Optimizer.step(), applying computed gradients onto weights according configured rules. - **记录指标 & 日志**(Logging Metrics and Logs after each Epoch completes): Collect avg loss across batches, elapsed time stats etc., then output them periodically either console prints or save into files for later analysis purposes. #### 6. 模型评估与调优 利用独立的验证集合定期检验正在发展的network performance metrics such as accuracy/precision/recall/F1-score/AUC-ROC curve area under curves etc.. Based on observed trends adjust hyperparameters like learning rate decay schedules dropout rates layer sizes activations functions regularization strengths early stopping criteria patience limits etc... Repeat until satisfactory generalization capabilities achieved over unseen test samples too not just training ones alone![^3] ```python import torch from torch import nn, optim from torchvision import datasets, transforms transform = transforms.Compose([transforms.ToTensor()]) train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform) dataloader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True) device = 'cuda' if torch.cuda.is_available() else 'cpu' model = YourModel().to(device) criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters()) for epoch in range(num_epochs): model.train() running_loss = 0.0 for inputs, labels in dataloader: optimizer.zero_grad() outputs = model(inputs.to(device)) loss = criterion(outputs, labels.to(device)) loss.backward() optimizer.step() running_loss += loss.item() print(f"Epoch {epoch+1}/{num_epochs}, Loss: {running_loss / len(dataloader)}") torch.save(model.state_dict(), './trained_model.pth') ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值