梯度下降(Gradient Descent)算法详解

       梯度下降算法可以将代价函数（Cost Function）最小化且其常被应用于线性回归问题中，此外，还会应用于众多其他机器学习领域。梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数的最小值。下面是问题综述：

 

       梯度下降背后的思想是：开始时我们随机选择一个参数的组合，计算代价函数，然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值（local minimum），因为我们并没有尝试完所有的参数组合，所以不能确定我们得到的局部最小值是否便是全局最小值（global minimum），选择不同的初始参数组合，可能会找到不同的局部最小值。

       学习速率是手动设置的，它控制着你朝最陡峭方向下降时所迈步子的大小，如果步子太小，收敛的时间会很长；步子太大，会导致你错过最小值。