为什么随机梯度算法中每一次都只用一个样本，却能保证参数最后收敛？

    借鉴https://www.sohu.com/a/131923387_473283中的一段内容：

随机梯度下降算法最大的缺点就是在每次更新时可能并不会按照正确的方向进行，因此可能在优化的过程中带来扰动。如图

    批处理最后得到是一个局部的最小值，随机处理用每一个样本更新，可能没有使用全部的数据会在另一个地方找到了局部最小值。让我用一个例子来说明这个问题：

    随机梯度处理就是比如你要找一个东西，第一个村子里最可信的人对你说是黑色的，然后你往一个方向走，后来遇到第二个村子，第二村子最可信的人说是白色的，你可能有点不解往另一个方向走，然后后面的人给你的描述越来越多，最后你发现这个东西整体是黑的，局部是白的，只是每个人描述的部位不同，但最后你肯定完整的知道这个东西长什么样了，你发现大家说的都是同一个地方。同理批处理就是一次性告诉你最可信的所有的描述。

  （这里要寻找的东西的路途就是最后要求的参数θ，最可信就是求极值，村子里的人就是样本，每一次走的方向就是每一次求得的参数）

    所以每次给你一个样本，都会给你提供参考，找到一个参数，参数可能有错，但参考的样本越来越多，最后发现参考说的都是这个值，参数只有是这个值的时候才基本符合前面提供的所有参考。