梯度下降

根据处理的训练数据的不同，分为以下三种形式：
批量梯度下降法BGD(Batch Gradient Descent)针对的是整个数据集，通过对所有的样本的计算来求解梯度的方向。
小批量梯度下降法MBGD（mini-batch Gradient Descent）把数据分为若干个批，按批来更新参数。
随机梯度下降法SGD（stochastic gradient descent）每个数据都计算算一下损失函数，然后求梯度更新参数。