梯度是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，大小为方向导数最大值，方向为函数增长最快方向。
假设一个函数
的极值点，就是它的导数为零的那个点。因此我们可以通过解方程
求得函数的极值点。
假设上图为函数图像，首先我们随便选择一个点
开始，经过一次次迭代，不断根据我们定的步长更新x的值，最终到达最小值点，每次迭代都朝着梯度方向的反方向，梯度下降算法公式可表示为：
其中
为函数在
本文介绍了梯度下降法的基本概念，它用于找到函数的极值点。通过迭代更新参数，沿着函数增长最快方向的反方向移动，直至达到最小值。在机器学习中，梯度下降法用于最小化损失函数，寻找最佳模型参数。文章还简单推导了损失函数的梯度计算过程。
最低0.47元/天 解锁文章
1504
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
