梯度下降算法---Gradient Descent

1，随机初始化$\theta$;
2，沿着负梯度方向迭代，更新后的$\theta$使得目标函数更小；
$\theta=\theta-\alpha \frac{\partial J(\theta)}{\partial \theta}$
其中$\alpha$是学习率或步长；
$J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(h_{\theta}x^{(i)}-y)^{2}$
===>
$\theta_{j}:=\theta _{j}+\alpha\sum_{i=1}^{m}(y^{(j)}-h_{\theta}x^{(i)})x_{j}^{(i)}$
—–批量梯度下降(BGD Batch Gradient Descent)

$\theta_{j}:=\theta _{j}+\alpha (y^{(j)}-h_{\theta}x^{(i)})x_{j}^{(i)}$
——随机梯度下降(SGD stochastic Gradient Descent)
SGD总体在下降，某一次可能不是；

折中：mini-batch Gradient Descent

greedy algorithm