梯度下降法

一、相关基础介绍

1. 导数

对于曲线的一种线性逼近，导数代表的是某一点的变化率，可以理解为曲线上一点的线性逼近的变化率

2. 方向导数

是一个数；反映的是f(x,y)在P0点沿某一方向的变化率。

3. 梯度

由定义可知梯度是一个向量，既有大小又有方向。

【结论】沿梯度的方向，方向导数最大，最大值为梯度的模

二、梯度下降法

场景：假设我们处于一个山顶，不知道怎么走才能最快到达山底，这时一种办法就是每次都沿着最陡峭的地方走，这样就可以快速的到达山底或者某个局部最低处。这个思路其实就相当于每走一步都按着改点的梯度方向走，因为梯度的方向就是改点变化最快的方向。