Pytorch 为什么每一轮batch需要设置optimizer.zero_grad

1.zero_grad（）函数的应用：

      在pytorch中做随机梯度下降时往往会用到zero_grad（）函数，相关代码如下。

                   optimizer.zero_grad()                       # 将模型的参数梯度初始化为0

                   outputs=model（inputs）              # 前向传播计算预测值

                   loss = cost(outputs, y_train)           # 计算当前损失

                   loss.backward()                               # 反向传播计算梯度

                   optimizer.step()                               # 更新所有参数   

    

2.zero_grad（）函数的作用：

      根据pytorch中backward（）函数的计算，当网络参量进行反馈时，梯度是累积计算而不是被替换，但在处理每一个batch时并不需要与其他batch的梯度混合起来累积计算，因此需要对每个batch调用一遍zero_grad（）将参数梯度置0.

      另外，如果不是处理每个batch清除一次梯度，而是两次或多次再清除一次，相当于提高了batch_size，对硬件要求更高，更适用于需要更高batch_size的情况。

 

https://discuss.pytorch.org/t/register-backward-hook-on-nn-sequential/472