mini-batch(花书p171)
n个样本均值的标准差是σ / √ n ,其中σ是样本真实的标准差,其中σ是样本值真实的标准差。分母√ n表明使用更多的样本来估计梯度的方法的收益是低于线性的。例如,比价两个假象的梯度计算,一个基于100个样本, 一个基于10000个样本,后者需要的计算量是前者的100倍,却只降低了10倍的均值标准差。如果能够快速的计算出梯度估计值,而不是缓慢的计算准确的梯度值,那么绝大多数算法会收敛的更快。(就总的计算量而言,而不是指更新次数)。
第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这称为Batch gradient descent,批梯度下降。
另一种,每看一个数据就算一下损失函数,然后求梯度更新参数,这个称为随机梯度下降,stochastic gradient descent。这个方法速度比较快,但是收敛性能不太好,可能在最优点附近晃来晃去,hit不到最优点。两次参数的更新也有可能互相抵消掉,造成目标函数震荡的比较剧烈。
为了克服两种方法的缺点,现在一般采用的是一种折中手段,mini-batch gradient decent,小批的梯度下降,这种方法把数据分为若干个批,按批来更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,下降起来就不容易跑偏,减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多,计算量也不是很大。