机器学习20160412

入门级算法：梯度下降法（GD）

batch gradient descent(BGD) and stochastic gradient descent(SGD)

当使用大量样本时，SGD不用循环所有样本吧？

page1:

page2:

page3:

page4

2016.04.13

在page4中，对于stochastic gradient descent的“stochastic”，理解的不正确。

那么，该怎样理解“stochastic”呢？

难道，从统计的角度看，【在大量样本情况下，对单个样本求梯度，然后循环每个样本，估计出的参数值就是近似满足要求的。】，会有这样的结论吗？怎样证明。