深度学习进阶课程03---随机梯度下降算法

这是上一篇文章中的一幅图，因变量为C，自变量分别为v1和v2
首先来看变化量：


Cost函数的梯度向量（gradient vector）定义如下：

由以上三个公式可以推出：

为什么要写出这样一个公式，有什么好处呢，继续来看一下
下一步我们设定：

参数表示学习率
把△v代入上面公式：

△C<=0，所以C不断减小
所以v的变化：

再来回顾一下目标函数：

是平均的cost
现在我们套用刚才得到的方程，可以得到权重和偏向更新方程：

对于每个训练实例x，都要计算梯度向量gradient vector，如果训练数据集过大，我们要花费很长时间去更新，学习过程太慢，所以，一个变种为：
随机梯度下降算法（stochastic gradient descent）：
基本思想：从所有训练实例中取一个小的采样（sample）：x1，x2，…,xm(mini-batch)来估计gradient vector，大大提高学习速度
举例：选举调查
如果样本足够大：

代入更新方程：

然后，重新选择一个mini-batch用来训练，直到用完所有的训练实例，一轮epoch完成

基本的理论部分大概就是这样，下一篇文章写一下如何在Python中实现