【西瓜书笔记02】标准梯度下降和随机梯度下降

参考资料：
1.标准梯度下降法和随机梯度下降法的区别
2.梯度下降与随机梯度下降

主要区别概括

1.标准下降时在权值更新前汇总所有样例得到的标准梯度，随机下降则是通过考察每次训练实例来更新。

2.对于步长 η的取值，标准梯度下降的η比随机梯度下降的大。因为标准梯度下降的是使用准确的梯度，理直气壮地走，随机梯度下降使用的是近似的梯度，就得小心翼翼地走，怕一不小心误入歧途南辕北辙了。

3.当E（w）有多个局部极小值时，随机梯度反而更可能避免进入局部极小值中。

标准梯度下降的问题：

普通的梯度下降算法在更新回归系数时要遍历整个数据集，是一种批处理方法，这样训练数据特别忙庞大时，可能出现如下问题：
1）收敛过程可能非常慢；

2）如果误差曲面上有多个局极小值，那么不能保证这个过程会找到全局最小值。