批量梯度下降算法与随机梯度下降算法

假设函数为 ： 

       

其损失函数为

J(θ)=1/2∑i=1m(hθ(x(i))−y(i))

这里我们使用批量梯度下降算法，要想求θ使得J(θ)取最小，我们对于J(θ)求偏导算其梯度方向，让J(θ)沿着负梯度方向下降迭代其θ值，我们给定初始θ值，又其损失函数是用全体数据，因此其计算结果会一直沿着让J(θ)更小的方向下降直至收敛，因此其为局部最优

然而随机梯度下降算法不是用全体数据而是用一个一个值不断计算梯度算其θ，这样算出的θ值由于喂给的数据会有扰动，但由于我们假定数据是一种线性关系，给出的也是线性方程这样算出的θ整体上还是会让J(θ)处于下降趋势，但由于其扰动可能会使其跳出局部最优，达到全局最优。随机梯度下降是work的，可用在实时处理中。

最后还有批量梯度下降算法就是拿一部分数据后在做一个梯度下降，是批量梯度下降和随机梯度下降算法的折中算法。