关于随机梯度下降算法SGD
《深度学习》
8.1.3批量算法和小批量算法这一节指出:
使用单个样本的优化方法被称为随机算法。
通常也会将小批量或小批量随机方法简单的称为随机方法。
8.3.1随机梯度下降这一节指出:
抽取m个小批量样本,计算梯度均值得到梯度的无偏估计。
所以,随机梯度下降算法并不是针对一个样本进行优化,而是取了小批量进行优化。
《深度学习》
8.1.3批量算法和小批量算法这一节指出:
使用单个样本的优化方法被称为随机算法。
通常也会将小批量或小批量随机方法简单的称为随机方法。
8.3.1随机梯度下降这一节指出:
抽取m个小批量样本,计算梯度均值得到梯度的无偏估计。
所以,随机梯度下降算法并不是针对一个样本进行优化,而是取了小批量进行优化。