AssertionError: Check batch related parameters. train_batch_size is not equal to micro_batch_per_gpu

Takoony

已于 2023-06-12 10:48:04 修改

阅读量1k

点赞数

文章标签： batch 开发语言

于 2023-06-12 10:42:28 首次发布

本文链接：https://blog.csdn.net/ningyanggege/article/details/131164133

版权

问题描述：

调用代码

deepspeed_plugin = DeepSpeedPlugin(zero_stage=2, gradient_accumulation_steps=args.gradient_accumulation_steps)

报错如图所示：

在这里插入图片描述

根因定位：

链接：https://github.com/microsoft/DeepSpeed/issues/3228
This error only occurs when using deepspeed v0.9.0 and zero stage 2.

我升级了deepspeed v0.9.0到0.9.3
在这里插入图片描述
就没有报错了

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Takoony

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

LLM-微调：Peft库--get_peft_model()--＞在llm基座模型的基础上注入Lora模块（加载流程）【注入的Lora模块的初始参数是随机初始化的】

u013250861的博客

10-22

1328

【代码】LLM-微调：Peft库--get_peft_model()函数【在llm基座模型的基础上加载Lora模块（Lora模块的初始参数是随机初始化的）】

Detectron:assert len(cfg_list) % 2 == 0 AssertionError

地理信息系统、摄影测量与遥感、人工智能

06-29

1万+

Detectron在用train_net.py训练模型的时候如果遇到该问题：Traceback (most recent call last): File "tools/train_net.py", line 128, in <module> main() File "tools/train_net.py", line 100, in main merge_cfg_from_l...

2 条评论您还未登录，请先登录后发表或查看评论

YOLOV5s 训练问题总结

weixin_63701570的博客

10-12

2385

YOLOV5训练所遇问题总结

mmdeployv0.6 mmdetectionv2.4、mmcv-full1.6安装及环境搭建

最新发布

qq_41627642的博客

08-08

968

在本例中，我们需要安装 TensorRT（含 cuDNN）推理引擎。因在 NVIDIA 官网下载软件包，必须要登录认证，所以请预先登录并下载所需的 TensorRT 和 cuDNN。在准备工作就绪后，我们可以使用 MMDeploy 中的工具 deploy.py，将 OpenMMLab 的 PyTorch 模型转换成推理后端支持的格式。${MMDEPLOY_DIR}/tools/deploy.py 是一个方便模型转换的工具。您可以阅读如何转换模型了解更多细节。下载完毕后，您可以参考如下方法安装。

深度学习中Batch_size相关问题汇总

zilanpotou182的博客

07-26

1万+

1.Batch_size的使用意义及大小的选择 Batch_size不宜选的太小，太小了容易不收敛，或者需要经过很大的epoch才能收敛；也没必要选的太大，太大的话首先显存受不了，其次可能会因为迭代次数的减少而造成参数修正变的缓慢。 http://blog.csdn.net/ycheng_sjtu/article/details/49804041这篇文章很详细的介绍了Bat

RuntimeError: mat1 dim 1 must match mat2 dim 0

Data _designer

07-18

422

多半需要dataloader是drop_last=True

dnn应用的python代码_Python dnn.dnn_available方法代码示例

weixin_36440319的博客

12-29

1009

本文整理汇总了Python中theano.sandbox.cuda.dnn.dnn_available方法的典型用法代码示例。如果您正苦于以下问题：Python dnn.dnn_available方法的具体用法？Python dnn.dnn_available怎么用？Python dnn.dnn_available使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步...

学习tensorflow遇到的问题

qq_33772192的博客

03-03

1万+

1.tensorflow.python.framework.errors_impl.permissiondeniederror /path permission denied 问题的解决方式在Linux环境中运行python程序时可能会出现上述问题，解决问题的办法就是将你的路径改为绝对路径，例如： ‘/path/to/MNIST_data/’ 改为： "/home/yangjy/path...

yolov7的dataset代码详解

guanshanjushi2的专栏

08-03

3088

yolov7dataset代码详解

2.python/pytorch编程debug

热门推荐

驽马十驾，功在不舍；锲而不舍，金石可镂。

05-10

1万+

快速解决python中的bug，这里总有你需要的。

gradient_accumulation_steps

不知道起什么名字

08-17

1万+

gradient_accumulation_steps通过累计梯度来解决本地显存不足问题。假设原来的batch_size=6，样本总量为24，gradient_accumulation_steps=2 那么参数更新次数=24/6=4 现在，减小batch_size=6/2=3，参数更新次数不变=24/3/2=4 在梯度反传时，每gradient_accumulation_steps次进行一次梯度更新，之前照常利用loss.backward()计算梯度。 ...

PyTorch并行训练指南：单机多卡并行、混合精度、同步BN训练

idol24的博客

06-30

5353

点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！作者｜Todd整理 | 极市平台来源｜https://zhuanlan.zhihu.com/...

【PyTorch】多卡训练/混合精度/分布式训练之踩坑指北

heroybc的博客

12-20

6412

【pytorch】多卡训练/混合精度/分布式训练之踩坑指北 1. 混合精度 1.1 目的训练网络的基本上都是在N卡上面执行的，数据集比较大时，训练网络会耗费大量的时间。由于我们需要使用反向传播来更新具有细微变化的权重，因而我们在训练网络的过程中通常会选用FP32类型的数据和权重。混合精度训练，即当你使用N卡训练你的网络时，混合精度会在内存中用FP16做储存和乘法从而加速计算，用FP32做累加避免舍入误差。它的优势就是可以使你的训练时间减少一半左右。它的缺陷是只能在支持FP16操作的一些特定类型的显卡上

bert pytorch实现时踩的坑

lelebear2的博客

06-24

527

1.BrokenPipeError: [Errno 32] Broken pipe DataLoader是单线程，好像是个bug? 解决方法：修改num_workers=0,或者不设定num_workers的值，默认就会为0 if __name__ == "__main__": train_dataloader = DataLoader( dataset=dataset, batch_size=32, shuffle=True, #n

YOLOV5训练数据集过程中特殊问题记录

HOLEYU的博客

09-06

2634

项目场景： yolov5训练GX数据集问题描述：运行train.py Traceback (most recent call last): File "/home/milk/yolov52/train.py", line 484, in <module> train(hyp, opt, device, tb_writer) File "/home/milk/yolov52/train.py", line 191, in train dataloader, d...

Pytorch多GPU训练踩坑记录2

qq_43222655的博客

07-13

3429

问题介绍使用nn.DataParallel进行多GPU训练时，对模型进行传参，有时会出现报错“RuntimeError: chunk expects at least a 1-dimensional tensor”。问题分析 nn.DataParallel的作用是将模型和数据分配到各个GPU上，让其在各自的GPU上训练，首先检查batchsize是否是GPU数量的整数倍，以及dataloader是否设置了drop_last是否是true,如果没有drop_last，那么最后一个batchsize剩下的数

调试HRnet遇到的坑

qq_38951972的博客

03-10

1722

AssertionError: Default process group is not initialized # BatchNorm2d_class = BatchNorm2d = torch.nn.SyncBatchNorm BatchNorm2d_class = BatchNorm2d = torch.nn.BatchNorm2d 将bn_help.py里的第19行做更改。（放弃分布式训练）出现新的bug RuntimeError: CUDA out of memory. Tried..

AssertionError: The number of LFW images must be an integer multiple of the LFW batch size

hu_yinghui的博客

05-12

778

代码场景： linux系统在facenet训练自己的数据集运行train_softmax.py时出现错误问题描述 AssertionError: The number of LFW images must be an integer multiple of the LFW batch size 数据集的图片必须与batch_size成倍数原因分析：源代码设置的batch_size=100，如果要训练自己的数据集，需要将数据集的样本数设置为100的倍数解决方案：打印出了一下参数： nro

assert FLAGS.train_dir, '`train_dir` is missing.' if FLAGS.task == 0: tf.gfile.MakeDirs(FLAGS.train_dir)什么意思

04-29

- `assert FLAGS.train_dir`：使用 `assert` 语句判断 `train_dir` 是否存在，如果不存在就会抛出 `AssertionError` 异常； - ``if FLAGS.task == 0: tf.gfile.MakeDirs(FLAGS.train_dir)`：如果 `train_dir` 不存在...