梯度下降法

1、批量梯度下降法（BGD）：迭代每一步用到数据中所有样本。
每次迭代都是朝着收敛方向前进，但是计算量大，速度慢，可以考虑并行运算，依然速度慢，且容易陷入局部最优。
2、随机梯度下降法（SGD）:迭代每一步用到一个样本，这样也许不用用完所有样本就可以完成迭代过程。
速度快，迭代过程存在噪声，过程相对随机，不会一直朝着收敛的方向。
3、小批量梯度下降法（MBGD）：是一种折中考虑，即每次迭代可以使用b个样本，b=10一般。