梯度下降算法Gradient descent

梯度下降算法Gradient descent

梯度下降法的基本思想可以类比为一个下山的过程。
假设这样一个场景：一个人被困在山上，需要从山上下来(找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低；因此，下山的路径就无法确定，必须利用自己周围的信息一步一步地找到下山的路。这个时候，便可利用梯度下降算法来帮助自己下山。怎么做呢，首先以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着下降方向走一步，然后又继续以当前位置为基准，再找最陡峭的地方，再走直到最后到达最低处；同理上山也是如此，只是这时候就变成梯度上升算法了

简易梯度下降法： $${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_j)$$

适用与线性回归的梯度的梯度下降法公式（为实现同步更新θ0和θ1,运算顺序由上往下）：$$temp0:={\theta }_0-\alpha \frac{\partial }{\partial {\theta }_0}J({\theta }_0,{\theta }_1)$$
$$temp1:={\theta }_1-\alpha \frac{\partial }{\partial {\theta }_1}J({\theta }_0,{\theta }_1)$$
$${\theta }_0:=temp0$$
$${\theta }_1:=temp1$$
其中：$J({\theta }_0,{\theta }_1)=\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x_i)-y_i{)}^2$， $h_{\theta }(x)={\theta }_0+{\theta }_{i}x$，α是下降速率（步长）

注：引用「Arrow and Bullet」部分原文