梯度下降算法比较

Batch gradient descent

$θ=θ−η⋅∇_θJ(θ)$.

例如在线性回归中，损失函数是:
$J(θ)=\frac {1}{2}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2$
使用梯度下降的方法使得$J(\theta)$最小化

• 初始化$\theta$，例如令$\theta_1=\theta_2...=\theta_n=0$
• 沿着负梯度方向迭代，更新后的$\theta$使$J(\theta)$更小
  $\theta_j=\theta_j-\alpha.\frac {\partial J(\theta)}{\partial \theta_j}$

对于BGD来说
$\theta_j=\theta_j-\alpha.\sum_{i=1}^{m}\frac {\partial J(\theta)}{\partial \theta_j}$
其中：
$\frac {\partial J(\theta)}{\partial \theta_j}=(h_{\theta}(x^{(i)})-y^{(i)})x_j^{(i)}$
缺点：需要整个数据集执行一次梯度更新，更新速度非常慢。 不能在线更新模型。

批量梯度下降保证收敛到凸函数的全局最小值和非凸函数的局部最小值。
代码如下：

for i in range(nb_epochs):
  params_grad = evaluate_gradient(loss_function, data, params)
  params = params - learning_rate * params_grad

Stochastic gradient descent

θ=θ−η⋅∇θJ(