- 博客(6)
- 收藏
- 关注
转载 Pytorch中使用SubsetRandomSampler做数据集划分
PS: sampler 和 shuffle 是互斥的,因为sampler会自动乱序,所以在使用sampler的时候,请将shuffle设置为False。
2023-12-05 11:22:51
219
原创 pytorch训练过程显存爆炸,随着epoch增加不断增加
原来我在反向传播完后会累加loss,以计算平均损失打印出来并写入tensorboard,而我在累加loss时用的是loss_epoch += loss ,此时loss会被放入计算图中一起保存,实际上除了反向传播以外,我的loss只是要那个数值而已。在训练时,明明前几个epoch都能正常跑,但是到了某一个epoch突然给我报显存不够了。我寻思你跑完epoch难道不释放显存的吗,为啥epoch和epoch之间的差距还这么大?经过多方查询,多种方法的尝试,最终定位到loss的计算上。
2023-11-30 19:39:23
1119
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人