模型训练过程中的一些问题

1. 调试代码太慢了
   调试的时候 可以让数据量小点 没关系（不要使用完整的数据），减少 n_epoch，k_fold的折数

2. PyTorch中在反向传播前为什么要手动将梯度清零
   实现低显存跑大batchsize
   梯度累加就是，每次获取1个batch的数据，计算1次梯度，梯度不清空，不断累加，累加一定次数后，根据累加的梯度更新网络参数，然后清空梯度，进行下一次循环。

   一定条件下，batchsize越大训练效果越好，梯度累加则实现了batchsize的变相扩大，如果accumulation_steps为8，则batchsize ‘变相’ 扩大了8倍，是我们这种乞丐实验室解决显存受限的一个不错的trick，使用时需要注意，学习率也要适当放大。

   作者：Pascal
   链接：https://www.zhihu.com/question/303070254/answer/573037166

3. pytorch loss.item()
   代码中所有的loss都直接用loss表示的，结果就是每次迭代，空间占用就会增加，直到cpu或者gpu爆炸。
   解决办法：把除了loss.backward()之外的loss调用都改成loss.item()，就可以解决。

   作者：陈诚
   链接：https://www.zhihu.com/question/67209417/answer/344752405

4. 多gpu 训练 每个gpu 都会返回loss 做下平均就好
   梯度只能为标量 ，做梯度计算时 loss 为向量(list) 做不了