并行sgd算法和min-batch gd算法

sgd算法全称随机梯度下降法，有着比批梯度下降法更快收敛的优势，该算法名称中的“随机”二字是改算法的中心精神所在。

sgd算法是一种天生的串行的算法，当数据量大的时候们希望通过使用多个机器并行计算的方法来提高计算速度，所以将sgd算法并行化是一个值得探讨的话题。

min-batch gd算法综合了sgd算法和batch gd算法二者的优缺点，是串行算法，但可以在batch内使用并行计算提高计算速度。