梯度下降一般分为三种:批量梯度下降法(Batch Gradient Descent),随机梯度下降法(Stochastic Gradient Descent),小批量梯度下降法(Mini-batch Gradient Descent)。
梯度下降基本流程:
样本为样本有两个特征值
和一个输出的目标值y,共有m个样本。函数变量x为特征所构成的向量。
- 设置步长,阈值,参数向量的初始值。
- 设置假设函数
- 损失函数
- 对损失函数分别对
求偏导构成梯度向量
- 使用参数的初始值减去将样本值带入梯度向量后必将当所有的参数都小于阈值的时候结束,
否则重复4-5
三种方法的不同之处在于损失函数(能量函数)
批量梯度下降:上述的损失函数就是在批量梯度下降时使用的,在此方法中将样本的所有值进行带入,可以找到全局的最优解,但是耗时间。
随机梯度下降:随机梯度下降的损失函数为,使用随机梯度下降时会随机的选择一个样本,速度快,准确率低。
小批量梯度下降:小批量梯度下降的损失函数为,小批量梯度下降时会设置一个样本的个数k,每次选取k个样本进行训练,速度较快,可以找到局部的最优解。