m0_54484261的博客

原创 RuntimeError: CUDA out of memory. Tried to allocate XX.XX MiB. pytorch训练超出撑爆显存的问题

RuntimeError: CUDA out of memory. Tried to allocate XX.XX MiB. pytorch训练超出撑爆显存的问题 1、batch_size设置过大 这种比较好理解，就是单卡batch_size设置大了，数据量就大了，显存可能就放不下了。不过一般batch_size也不宜设置过小，不然如果batch里含有噪声数据其占比就会较大，对模型训练影响就比较大，有时就会把模型训飞了（亲身经历）。 如果batch_size已经调的较小了还是爆了显存，可能就是别的问题了，接