在神经网络中，批次中的单个梯度是求和还是求平均值

转发别人的回答：

这取决于你想要实现什么。损失函数作为训练神经网络的指南，使其在任务中变得更好。

如果我们将交叉熵损失输出相加，我们会产生与批量大小成比例的损失，因为在训练期间，我们的损失与小批量大小成比例增长。

然而，如果我们取平均值，我们的损失与批量大小无关，因为我们取平均值。

对于您的用例，我建议取平均值，因为这可以确保您的损失函数与诸如前面提到的批处理大小之类的超参数解耦。

另一个直观的例子是，通过平均损失，我们将损失输出归一化，这也有助于稳定训练，因为我们的网络对学习率变得不那么敏感。如果我们使用sum，我们可能会遇到爆炸性的梯度问题，这迫使我们使用低得多的学习率，从而使我们的网络对超参数值更加敏感。

原文链接：https://stackoverflow.com/questions/67482379