梯度下降法算法总结

最新推荐文章于 2024-08-17 23:32:55 发布

汪雯琦

最新推荐文章于 2024-08-17 23:32:55 发布

阅读量8.5k

点赞数 25

分类专栏：【机器学习与深度学习】文章标签：算法 python 计算机视觉机器学习人工智能

本文链接：https://blog.csdn.net/qq_35456045/article/details/104508217

版权

本文详细介绍了梯度下降法的基本思想、梯度的概念及其在单变量和多变量函数中的应用。通过实例展示了梯度下降如何寻找函数的最小值，并讨论了全梯度下降、随机梯度下降、小批量梯度下降以及随机平均梯度下降等不同算法的原理和优缺点。还对比了梯度下降与正规方程，并提及了优化算法如动量法、Adagrad等在深度学习中的应用。

摘要由CSDN通过智能技术生成

梯度下降(Gradient Descent)

什么是梯度下降

梯度下降法的基本思想可以类比为一个下山的过程。

假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，（同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走）。然后每走一段距离，都反复采用同一个方法，最后就能成功的抵达山谷。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rqj8CeAr-1582644298837)(../images/%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%951.png)]

梯度下降的基本过程就和下山的场景很类似。

首先，我们有一个可微分的函数。这个函数就代表着一座山。

我们的目标就是找到这个函数的最小值，也就是山底。

根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数之变化最快的方向。所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向，也就是场景中测量方向的手段。