一文速学数模-最优化算法(二)梯度下降算法一文详解+Python代码

目录

前言

一、梯度下降法简述

二、梯度下降算法原理理解

1.梯度

2.梯度定义

3.梯度下降

4.损失函数(loss function)

5.学习率(步长)

三、梯度下降算法代码展示

消失和爆炸梯度

---

前言

最近会不断更新深度学习系列文章(全实战性+可运行代码)加入到我的一文速学-数学建模常用模型中，现在建模比赛不用深度学习的知识和技能竞争力就比较落后了，况且我也任职人工智能开发工程师，对这一块的理论和实战都比较多。而且对于学习深度学习方面知识我也比较熟悉疑难点和重要知识点，故开此系列大家可以放心订阅，质量绝对有保证且内容易学易懂实践轻松，每个知识点都接有小段代码可供验证。

博主专注建模四年，参与过大大小小数十来次数学建模，理解各类模型原理以及每种模型的建模流程和各类题目分析方法。此专栏的目的就是为了让零基础快速使用各类数学模型、机器学习和深度学习以及代码，每一篇文章都包含实战项目以及可运行代码。博主紧跟各类数模比赛，每场数模竞赛博主都会将最新的思路和代码写进此专栏以及详细思路和完全代码。希望有需求的小伙伴不要错过笔者精心打造的专栏。

---

一、梯度下降法简述

梯度下降算法(GradientDescent Optimization)是常用的最优化方法之一，“最优化方法”属于运筹学方法，是指在某些约束条件下，为某些变量选取哪些值，可以使得设定的目标函数达到最优问题。

梯度下降算法中的成本函数就像一个晴雨表，通过每次参数更新的迭代来衡量其准确性。 在函数接近或等于零之前，模型将持续调整其参数，以使产生的误差尽可能的小。一旦机器学习模型 的准确性得到优化，它们就可以成为人工智能 (AI) 和计算机科学应用的强大工具。 

我之前没有单独拿出梯度上升算法