python深度学习--梯度下降算法（附完整代码）

什么是梯度下降法？

而梯度下降这个算法，也涉及到了高数上的一些知识，比如高数求导求最小化

所以，我们在学习梯度下降法之前，就需要学习有关高数求导求最小化以及其他的一些基础知识知识了

必备基础知识

高数导数最小化策略

导数最小化是一种常见的问题，解决这个问题可以帮助我们更好的找到函数的极小值

其中的数值优化算法和迭代调整参数就是梯度下降法的核心了。

通过导数最小化，我们就可以得到函数的最优解了。

学习率--learning rate

它是一个控制模型参数更新速度的超参数。在进行梯度下降优化时，学习率决定了每次参数更新的步长。

可以通过以下的公式来更好地理解学习率的作用：

学习率控制了我们朝着梯度方向下降的速度或者说步长。如果学习率太大，那么可能会“跳过”最小值，导致模型无法收敛；反之，如果学习率太小，那么优化过程会非常慢，甚至可能停留在一个不理想的局部最小值点。

而学习率又引出了一个新的概念--梯度

梯度

梯度是一个向量，它既有大小也有方向。对于函数f(x,y)，在某一特定点P0处的梯度方向，是函数在该点处变化率（即方向导数）最大的方向。换句话说，梯度的方向代表了函数在该点增长最快的