为什么局部下降最快的方向就是梯度的负方向?

机器学习 同时被 3 个专栏收录
74 篇文章 18 订阅
3 篇文章 2 订阅

红色石头的个人网站:redstonewill.com

这里写图片描述

什么是梯度?

对于梯度下降算法(Gradient Descent Algorithm),我们都已经很熟悉了。无论是在线性回归(Linear Regression)、逻辑回归(Logistic Regression)还是神经网络(Neural Network)等等,都会用到梯度下降算法。我们先来看一下梯度下降算法的直观解释:

假设我们位于黄山的某个山腰处,山势连绵不绝,不知道怎么下山。于是决定走一步算一步,也就是每次沿着当前位置最陡峭最易下山的方向前进一小步,然后继续沿下一个位置最陡方向前进一小步。这样一步一步走下去,一直走到觉得我们已经到了山脚。这里的下山最陡的方向就是梯度的负方向。

首先理解什么是梯度?通俗来说,梯度就是表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在当前位置的导数。

=df(θ)dθ ∇ = d f ( θ ) d θ

上式中, θ θ 是自变量, f(θ) f ( θ ) 是关于 θ θ 的函数, θ θ 表示梯度。

梯度下降算法

如果函数 f(θ) f ( θ ) 是凸函数,那么就可以使用梯度下降算法进行优化。梯度下降算法的公式我们已经很熟悉了:

θ=θ0ηf(θ0) θ = θ 0 − η ⋅ ∇ f ( θ 0 )

其中, θ0 θ 0 是自变量参数,即下山位置坐标, η η 是学习因子,即下山每次前进的一小步(步进长度), θ θ 是更新后的 θ0 θ 0 ,即下山移动一小步之后的位置。

梯度下降算法的公式非常简单!但是”沿着梯度的反方向(坡度最陡)“是我们日常经验得到的,其本质的原因到底是什么呢?为什么局部下降最快的方向就是梯度的负方向呢?也许很多朋友还不太清楚。没关系,接下来我将以通俗的语言来详细解释梯度下降算法公式的数学推导过程。

一阶泰勒展开式

这里需要一点数学基础,对泰勒展开式有些了解。简单地来说,泰勒展开式利用的就是函数的局部线性近似这个概念。我们以一阶泰勒展开式为例:

f(θ)f(θ0)+(θθ0)f(θ0) f ( θ ) ≈ f ( θ 0 ) + ( θ − θ 0 ) ⋅ ∇ f ( θ 0 )

不懂上面的公式?没有关系。我用下面这张图来解释。

这里写图片描述

凸函数 f(θ) f ( θ ) 的某一小段 [θ0,θ] [ θ 0 , θ ] 由上图黑色曲线表示,可以利用线性近似的思想求出 f(θ) f ( θ ) 的值,如上图红色直线。该直线的斜率等于 f(θ) f ( θ ) θ0 θ 0 处的导数。则根据直线方程,很容易得到 f(θ) f ( θ ) 的近似表达式为:

f(θ)f(θ0)+(θθ0)f(θ0) f ( θ ) ≈ f ( θ 0 ) + ( θ − θ 0 ) ⋅ ∇ f ( θ 0 )

这就是一阶泰勒展开式的推导过程,主要利用的数学思想就是曲线函数的线性拟合近似。

梯度下降数学原理

知道了一阶泰勒展开式之后,接下来就是重点了!我们来看一下梯度下降算法是如何推导的。

先写出一阶泰勒展开式的表达式:

f(θ)f(θ0)+(θθ0)f(θ0) f ( θ ) ≈ f ( θ 0 ) + ( θ − θ 0 ) ⋅ ∇ f ( θ 0 )

其中, θθ0 θ − θ 0 是微小矢量,它的大小就是我们之前讲的步进长度 η η ,类比于下山过程中每次前进的一小步, η η 为标量,而 θθ0 θ − θ 0 的单位向量用 v v 表示。则θθ0可表示为:

θθ0=ηv θ − θ 0 = η v

特别需要注意的是, θθ0 θ − θ 0 不能太大,因为太大的话,线性近似就不够准确,一阶泰勒近似也不成立了。替换之后, f(θ) f ( θ ) 的表达式为:

f(θ)f(θ0)+ηvf(θ0) f ( θ ) ≈ f ( θ 0 ) + η v ⋅ ∇ f ( θ 0 )

重点来了,局部下降的目的是希望每次 θ θ 更新,都能让函数值 f(θ) f ( θ ) 变小。也就是说,上式中,我们希望 f(θ)<f(θ0) f ( θ ) < f ( θ 0 ) 。则有:

f(θ)f(θ0)ηvf(θ0)<0 f ( θ ) − f ( θ 0 ) ≈ η v ⋅ ∇ f ( θ 0 ) < 0

因为 η η 为标量,且一般设定为正值,所以可以忽略,不等式变成了:

vf(θ0)<0 v ⋅ ∇ f ( θ 0 ) < 0

上面这个不等式非常重要! v v f(θ0)都是向量, f(θ0) ∇ f ( θ 0 ) 是当前位置的梯度方向, v v 表示下一步前进的单位向量,是需要我们求解的,有了它,就能根据θθ0=ηv确定 θ θ 值了。

想要两个向量的乘积小于零,我们先来看一下两个向量乘积包含哪几种情况:

这里写图片描述

A A B均为向量, α α 为两个向量之间的夹角。 A A B的乘积为:

AB=||A||||B||cos(α) A ⋅ B = | | A | | ⋅ | | B | | ⋅ c o s ( α )

||A|| | | A | | ||B|| | | B | | 均为标量,在 ||A|| | | A | | ||B|| | | B | | 确定的情况下,只要 cos(α)=1 c o s ( α ) = − 1 ,即 A A B完全反向,就能让 A A B的向量乘积最小(负最大值)。

顾名思义,当 v v f(θ0)互为反向,即 v v 为当前梯度方向的负方向的时候,能让vf(θ0)最大程度地小,也就保证了 v v 的方向是局部下降最快的方向。

知道v f(θ0) ∇ f ( θ 0 ) 的反方向后,可直接得到:

v=f(θ0)||f(θ0)|| v = − ∇ f ( θ 0 ) | | ∇ f ( θ 0 ) | |

之所以要除以 f(θ0) ∇ f ( θ 0 ) 的模 ||f(θ0)|| | | ∇ f ( θ 0 ) | | ,是因为 v v 是单位向量。

求出最优解v之后,带入到 θθ0=ηv θ − θ 0 = η v 中,得:

θ=θ0ηf(θ0)||f(θ0)|| θ = θ 0 − η ∇ f ( θ 0 ) | | ∇ f ( θ 0 ) | |

一般地,因为 ||f(θ0)|| | | ∇ f ( θ 0 ) | | 是标量,可以并入到步进因子 η η 中,即简化为:

θ=θ0ηf(θ0) θ = θ 0 − η ∇ f ( θ 0 )

这样,我们就推导得到了梯度下降算法中 θ θ 的更新表达式。

总结

我们通过一阶泰勒展开式,利用线性近似和向量相乘最小化的思想搞懂了梯度下降算法的数学原理。也许你之前很熟悉梯度下降算法,但也许对它的推导过程并不清楚。看了本文,你是否有所收获呢?

更多机器学习资源,请关注公众号:AI有道(ID:redstonewill)
这里写图片描述

©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

红色石头Will

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值