梯度下降：BGD、SGD、mini-batch GD介绍及其优缺点

引言

梯度下降：两个意思，

1. 根据梯度（导数）的符号来判断最小值点x在哪；
2. 让函数值下降（变小）。

简单来说就是一种寻找目标函数最小化的方法，它利用梯度信息，通过不断迭代调整参数来寻找合适的目标值。
其共有三种：

1. BGD,batch gradient descent:批量梯度下降
2. SGD,stochastic gradient descent:随机梯度下降
3. mini-batch GD,mini-batch gradient descent:小批量梯度下降

BGD

假设有损失函数：

y ^ 是预测值，y是真实值，共有m个预测值。若要最小化损失函数，需要对每个参数α 0 , α 1 , . . . , α n 求梯度，但是对BGD通常是取所有训练样本损失函数的平均作为损失函数，假设有β 个样本，则

所以有梯度更新：

l为学习率，即步长，是一个经验值，过大容易找不到相对最优解，过小会使得优化速度过慢.
l后面是损失函数对参数αi求偏导数