一个batch_size的数据如何做反向传播

一个batch_size的数据如何做反向传播

对于一个batch_size内部的数据，更新权重我们是这样做的：
假如我们在训练的时候设置的batch_size的大小为4，也就是一个batch_size有4张样本图片数据
然后开始进行训练，输入一个batch_size：首先batch_size中的第一张图片数据我们反向传播求导求梯度 ∂1，这个得到的梯度∂1可看做是得到一个参数量∂1，不过这个参数量先暂存起来，实际的原始参数没有变化（即暂时没有进行更新），然后使用原始的参数更新一次第二张图片数据，得到第二个参数量∂2，然后使用原始参数更新一次第三张图片数据，得到第三个参数量∂3，最后再使用原始参数更新一次第四张图片数据得到第四个参数量∂4。这样一个batch完了之后，我们把这四次计算得到的参数量求和或者求平均，比如求平均 ∂ =（∂1+∂2+∂3+∂4）/ 4，然后再进行最终的参数更新 W’ = W - α*∂，从而得到最终更新的参数W’ 。
所以一个batch_size对应一次反向传播，只不过参数对应batch内部数据计算处理的更新的和或者平均。