笔记-梯度下降法

前面我们已经知道了如何衡量模型的预测效果，并且知道了如果要使得模型预测效果最佳，应该让成本函数取得最小值。但是我们应该如何找到使得成本函数取最小值的和呢？因为成本函数是凸函数，所以可以用梯度下降法。

• 梯度下降法

以一维的为例，图示：

由图可以知道，有两个参数需要我们确定，一个是自变量起始值，一个是没次迭代的步长。显然对于一个凸函数，不管起始点定在哪，结果都会趋近于同一个最小值点，但基于编程习惯，还是设自变量起始值为0。至于步长如何设置，我们可以进一步讨论。

显然，我们希望在离最小值点很远的时候能够走一大步，减少迭代的次数，在离最小值点很近的时候走小小的一步，提高逼近的精度。那么固定的步长便不是最合适的方案。那么有什么指标可以指示参数所处位置离最小值点的距离吗？通过观察可以发现，对于一般的凸函数，导数的绝对值总是和离最值点的距离成正比，于是，我们便可以取导数的绝对值和来定量设置步长。确定步长之后我们还需要知道下一步按哪个方向走一步，结合导数的正负性，不难得出第步和第步之间的关系：

其中用来调整步长的增减速率。