梯度下降算法原理及基础：方向导数与梯度

ML中经常遇到梯度下降算法，而梯度的概念是从多元函数的方向导数得出的，本文用于将方向导数及梯度进行讲解。

方向导数的定义

设存在一个二元函数z=f(x,y)。目前现在存在一个方向l=(l0cosα,l0cosβ)，其中l0为改方向l的模。则定义：

若以上极限存在，则称f(x,y)在点（x0,y0）沿l方向的方向导数存在。

方向导数的公式求解

r若z=f(x,y)可微，则

,其中（cosα，cosβ）为方向l的单位方向向量

梯度的定义及与方向导数的关系

对于二元函数z=f(x,y)，其梯度为：

易见梯度为一个向量，这个向量具有特殊含义，沿该向量方向，方向导数最大。那最大值为多少呢？
我们直接把梯度带入到方向导数公式，可得其为梯度的模。

梯度下降算法解析

while (循环成立条件)
循环图片所示算法（α为学习率）