pytorch optimizer使用注意事项

1. .step()函数只会对该优化器指定的参数进行更新；
2. zero_grad()函数也只会对当前优化器指定的参数进行梯度清零；
3. .step()函数并不会将梯度清空；
4. .forward()函数会建立动态图，但一旦backward()后就会将图清空，故对于同一批数据不能连续使用两次.backward()；但如果想得到多批数据的反向传播的梯度，并使用这些梯度一起做梯度更新，则需要多批数据分别输入后，分别做backward()；最后等backward()结束之后，再一起执行.step()函数，就可以将之前多次计算的梯度结果进行统一的更新；
5. 如果不清空梯度的话，参数的梯度会随着数据的forward不断累加，多批次输入得到梯度，则梯度是累加关系：
   $$\frac{\partial (dat{a}^1+dat{a}^2)}{\partial w}=\frac{\partial dat{a}^1}{\partial w}+\frac{\partial dat{a}^2}{\partial w}$$