作用:切断梯度的反向传播
用处:(1)保存一部分网络参数不变,只对网络一部分参数进行调整;
(2)只训练网络部分分支,其分支梯度不影响backbone
区别:detach_对本身更改,detach生成一个新的tensor。
假设一开始的变量关系为:x
->m
-> y
,那么这里的叶子结点就是x
,当这个时候对m
进行了m.detach_()
操作,首先会取消m
与前一个结点x
的关联,并且grad_fn
为None
。此时,这里的关系就会变成x
,m
->y
,这个时候m
就变成了叶子结点。然后再将m
的requires_grad
属性设置为False
,当我们对y
进行backward()
时就不会求m
的梯度。
for i, (images, target) in enumerate(train_loader):
images = images.cuda(non_blocking=True)
target = torch.from_numpy(np.array(target)).float().cuda(non_blocking=True)
outputs = model(images)
loss = criterion(outputs, target)
loss = loss / accumulation_steps
loss.backward()
if (i + 1) % accumulation_steps == 0:
optimizer.step()
optimizer.zero_grad()
首先进行正向传播,将数据传入网络进行推理,得到结果
将预测结果与label输入进损失函数中计算损失
进行反向传播,计算梯度
重复前面的步骤,先不清空梯度,而是先将梯度进行累加,当梯度累加达到固定次数之后就更新网络参数,然后将梯度置零
梯度累加就是每次获取1个batch的数据,计算1次梯度,但是先不进行清零,而是做梯度的累加,不断地进行累加,当累加到一定的次数之后,再更新网络参数,然后将梯度清零,进行下一个循环。
通过这种参数延迟更新的手段,可以实现与采用大batch size相近的效果。在平时的实验过程中,我一般会采用梯度累加技术,大多数情况下,采用梯度累加训练的模型效果,要比采用小batch size训练的模型效果要好很多。
一定条件下,batch size越大训练效果越好,梯度累加则实现了batch size的变相扩大,如果accumulation_steps为8,则batch size就变相扩大了8倍,使用时需要注意,学习率也要适当放大:因为使用的样本增多,梯度更加稳定了。
有人会问,在上面的代码中为什么不直接对多个batch的loss先求和然后再取平均、再进行梯度回传和更新呢?
按我的理解这是为了减小内存的消耗。当采用多个batch的loss求和平再均后再回传的方式时,我们会进行accumulation_steps 次batch的前向计算,而前向计算后都会生成一个计算图。也就是说,在这种方式下,会生成accumulation_steps个计算图再进行backward计算。
而采用上述代码的方式时,当每次的batch前向计算结束后,就会进行backward的计算,计算结束后也就释放了计算图。又因为这两者计算过程的梯度都是累加的,所以计算结果都是相同的,但是上述的方法在每一时刻中,最多只会生成一张计算图,所以也就减小了计算中的内存消耗。