为什么要有Batch?
实际计算中,并不会把每个样本单独拿出来做参数的更新,实际是按照Batch来做,为各个参数选择不同的初值 ,其次依次计算每个Batch的梯度,并对参数更新(都是按照Batch来进行计算)。所有的Batch计算一次叫做一个epoch。
使用batch的原因:
Momentum
一般Gradient Descent
Gradient Descent + Momentum
(不仅仅考虑梯度方向,同时考虑上一次参数更新的方向)
实际计算中,并不会把每个样本单独拿出来做参数的更新,实际是按照Batch来做,为各个参数选择不同的初值 ,其次依次计算每个Batch的梯度,并对参数更新(都是按照Batch来进行计算)。所有的Batch计算一次叫做一个epoch。
使用batch的原因:
一般Gradient Descent
Gradient Descent + Momentum
(不仅仅考虑梯度方向,同时考虑上一次参数更新的方向)