关于yolov5训练时报错cuda内存不足问题

RuntimeError: CUDA out of memory. Tried to allocate 4.08 GiB (GPU 0; 10.76 GiB total capacity; 414.97 MiB already allocated; 4.08 GiB free; 4.85 GiB reserved in total by PyTorch)

当时报这种错误,当然调小batch-size可以解决,但是当不想调小的时候可以把工作线程改小,就能正常训练了

在train中有如上图所示的超参数,之前我的工作线程是8,在同等条件下改为4就正常能训练了

  • 3
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
MPI(Message Passing Interface)是一种并行计算的标准,可以实现跨节点的数据通信和计算任务分配。在多卡训练中,我们可以使用MPI来实现多个GPU之间的数据通信和计算协同。 在使用MPI进行多卡训练,需要使用mpiexec命令来启动训练程序。mpiexec命令可以指定使用的GPU数量和每个GPU使用的进程数,例如: ``` mpiexec -n 4 -bind-to none python train.py ``` 其中,-n参数指定了使用的进程数量,这里使用4个进程,即使用4个GPU进行训练;-bind-to none参数表示不绑定进程和CPU核心,可以让MPI自动进行进程和GPU的分配;train.py为训练程序的入口文件。 在训练程序中,可以使用MPI相关的库进行数据通信和计算协同。例如,使用mpi4py库可以实现Python程序与MPI的交互,可以使用MPI的发送和接收函数进行数据传输,例如: ``` from mpi4py import MPI comm = MPI.COMM_WORLD rank = comm.Get_rank() size = comm.Get_size() if rank == 0: data = [i for i in range(10)] comm.send(data, dest=1) elif rank == 1: data = comm.recv(source=0) print(data) ``` 在这个例子中,使用MPI的COMM_WORLD对象获取进程的rank和size信息,rank为进程的编号,size为进程的总数。使用comm.send函数将数据发送给编号为1的进程,使用comm.recv函数从编号为0的进程接收数据,并打印接收到的数据。 这只是一个简单的例子,实际上在多卡训练中需要更复杂的数据通信和计算协同。但是使用MPI可以很好地实现多卡训练,并发挥多GPU的计算能力。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值