一个batch_size的数据如何做反向传播
对于一个batch_size内部的数据,更新权重我们是这样做的:
假如我们在训练的时候设置的batch_size的大小为4,也就是一个batch_size有4张样本图片数据
然后开始进行训练,输入一个batch_size:首先batch_size中的第一张图片数据我们反向传播求导求梯度 ∂1,这个得到的梯度∂1可看做是得到一个参数量∂1,不过这个参数量先暂存起来,实际的原始参数没有变化(即暂时没有进行更新),然后使用原始的参数更新一次第二张图片数据,得到第二个参数量∂2,然后使用原始参数更新一次第三张图片数据,得到第三个参数量∂3,最后再使用原始参数更新一次第四张图片数据得到第四个参数量∂4。这样一个batch完了之后,我们把这四次计算得到的参数量求和或者求平均,比如求平均 ∂ =(∂1+∂2+∂3+∂4)/ 4,然后再进行最终的参数更新 W’ = W - α*∂,从而得到最终更新的参数W’ 。
所以一个batch_size对应一次反向传播,只不过参数对应batch内部数据计算处理的更新的和或者平均。