梯度下降和随机梯度下降

梯度下降和随机梯度下降

用一个例子来解释一下梯度下降：

如图所示，要求得J（x）的极小值时的x，初始值为Xp的时候斜率为正数，x = 此时x的值是减小的，同理当初始值为Xn的时候，斜率为负，根据更新公式x = 此时x的值是增大的，所以根据梯度下降可以逐渐逼近极值点。

定义损失函数

1.批量梯度下降
对于C(v1,v2)定义△C为C的变化量（这里的v1，v2代表两个特征，相当于w和b），△V为V的变化量，▽C为C的梯度
可以得到三个公式：



从上面三个公式可以推出

设定：
可以计算出

更新方程：

这个是平均的cost，对于每一个训练实例X都要计算梯度向量▽C，训练数据集过大就会花费很多时间，所以现在实际操作中都用随机梯度下降法。
2.随机梯度下降法
基本思想就是从所有训练实例中取出一个小采样（mini-batch）来估计▽C（m个样本）


更新方程：

然后从新选择一个mini-batch用来训练，直到用完所有实例，一轮epoch完成。