m0_73792960的博客

原创 pytorch损失函数redution参数使用sum和mean，none对于训练有什么不一样的影响

可以看到最后结果是与batch size有关的，也就是说我们设置learning rate的时候与batch size的大小有很大的关系，意味着梯度下降时需要的learning rate要基于batch size来考虑。由此看到在反向传播时并不会自动根据batch求平均，而是就这么水灵灵的求出来了，sum得出的答案正好是mean*batch。，在学习过程中我产生了一个疑问，这三个参数对于训练有什么影响，在反向传播的时候难道根据batch自动求平均了吗？则没有考虑这个的必要。那么为什么会这样呢？