Batch gradient descent, Stochastic gradient descent, mini-batch gradient descent的区别

• Batch gradient descent（批标准化），顾名思义，每次进行参数更新时，将所有样本得到的误差求均值，再进行梯度更新（反向传播）
• Stochastic gradient descent（随机梯度下降），每个训练数据都计算误差和梯度更新
• mini-batch gradient descent，每m个训练数据计算一次误差的平均值，然后进行梯度更新
• 上述定义摘自吴恩达的机器学习课程，但在实际应用时，所谓SGD常常指的是mini-batch gradient descent