pytorch中为什么要用 zero_grad() 将梯度清零

# 调用backward()函数之前都要将梯度清零，因为如果梯度不清零，
        # pytorch中会将上次计算的梯度和本次计算的梯度累加。这样逻辑的好处是，
        # 当我们的硬件限制不能使用更大的bachsize时，使用多次计算较小的bachsize的梯度平均值来代替，更方便，
        # 坏处当然是每次都要清零梯度。
        # 总结就是进来一个batch的数据，计算一次梯度，更新一次网络
        optimizer.zero_grad()  # 清空过往梯度
        loss.backward()  # 反向传播，计算当前梯度 w.grad = ▽loss/▽w
        optimizer.step()  # 根据梯度更新网络参数 w = w - lr*w.grad b = b - lr*b.grad,

相关链接：https://discuss.pytorch.org/t/why-do-we-need-to-set-the-gradients-manually-to-zero-in-pytorch/4903/3