batch=10，梯度平均

目录

batch=10，梯度平均

梯度计算和反向传播过程

注意事项

---

batch=10，梯度平均

在神经网络训练中，当提到“batch=10”时，这通常意味着在每次迭代（Iteration）中，网络会同时处理10个训练样本。这10个样本组成一个批次（Batch），用于计算梯度并更新网络的权重。

梯度计算和反向传播过程

1. 前向传播：

   • 首先，网络会接收这10个样本的输入，并通过网络的各层进行前向传播。
   • 在前向传播过程中，每一层的输入都会经过该层的权重和激活函数，产生该层的输出。

2. 计算损失：

   • 在网络的输出层，会得到这10个样本的预测结果。
   • 然后，根据这些预测结果和真实的标签，计算损失函数（如交叉熵损失、均方误差等）的值。这个损失值表示了网络在这10