Pytorch中的梯度回传与梯度清零

首先要明确在Pytorch当中，计算得到的梯度是默认累加的，而不是下次计算梯度就自动清零上一次的梯度值。

这样做的好处有以下几点：

1、减小multitask的内存消耗

​ 在PyTorch中，multi-task任务一个标准的train from scratch流程为：

for idx, data in enumerate(train_loader):
    xs, ys = data
    pred1 = model1(xs)
    pred2 = model2(xs)
    

    loss1 = loss_fn1(pred1, ys)
    loss2 = loss_fn2(pred2, ys)
    
    ******
    loss = loss1 + loss2
    optmizer.zero_grad()
    loss.backward()
    ++++++
    optmizer.step()

​ 从PyTorch的设计原理上来说，在每次进行前向计算得到pred时，会产生一个用于梯度回传的计算图，这张图储存了进行back propagation需要的中间结果（中间结果即每个需要更新变量的输出对本变量的局部梯度，用于根据链式法则进行梯度回传）。当调用了.backward()后，会从内存中将这张图进行释放。上述代码执行到************************时，内存中是包含了两张计算图的。执行到++++++时，得到对应的grad值并且释放内存。这样，训练时必须存储两张计算图，而如果loss的来源组成更加复杂，内存消耗会更大。

​ 为了减小每次的内存消耗，借助梯度累加，有：

因此有如下变种

for idx, data in enumerate(train_loader):
    xs, ys = data
    
    optmizer.zero_grad()
    # 计算d(l1)/d(x)
    pred1 = model1(xs) #生成graph1
    loss1 = loss_fn1(pred1, ys)