
调参问题记录--显存下降&bs调整
bs调整为32,lr调整为0.01,按理说应该会比bs为1,lr为0.0001能够更快到收敛值,有一个较好的结果,但是我发现训练后期会让整个生成模型变得不稳定,甚至loss逐渐增大。最近接触一个生成代码,在每个epoch的train后放入了torch.cuda.empty_cache(),然后进入eval,模型整体bs为1,lr为0.0001。我觉得可能是因为针对专门的数据集,基于GAN的生成模型在大bs中学习会很困难,导致bs增大后,模型能力不足,导致模式崩溃。






















