批梯度下降 和 随机梯度下降 ？？？

批梯度下降：
计算完所有的样本后，根据所有样本所计算出来的损失——》更新权重矩阵！

随机梯度下降：
每计算一个样本，对应就有一个损失，根据这个损失——》更新权重矩阵！

两者的区别：
批梯度下降在下一轮迭代才能使用本次迭代的更新值，随机梯度下降本次迭代中当前样本使用的值可能就是上一个样本更新的值。由于随机性可以带来很多好处，比如有利于避免局部最优解，所以现在大多倾向于使用随机梯度下降进行更新。