梯度下降应用解析及推导-10大基础算法（二）

前言

梯度下降的概念是机器学习算法中较为基础的，同样也是非常重要的。主要有三大类 批量梯度下降法（Batch Gradient Descent, BGD）；随机梯度下降法（Stochastic Gradient Descent, SGD）；小批量梯度下降法（Mini-Batch Gradient Descent, MBGD）。本文将从梯度的基础概念，通用场景入手依次解析推导。

1.什么是梯度?

梯度的数学定义：在一个数量场中，函数在已知定点处沿着不同的方向，其方向导数是不同的，现在需要求得其中哪一个方向的方向导数最大?最大值是多少?函数在点P沿着哪一个方向增加的速度最快？为此引入一个概念——梯度。数学表达式如下：

假设一个多元函数在点