【AI】梯度下降的数学原理(05)

目录

1、导数的概念

2、导数的求法

3、求导的几何意义

4、多元函数及偏导

5、梯度的概念和计算方法

5.1 梯度的概念

5.2 梯度的计算方法

5.3 梯度方向,函数值变化最迅猛的原因


1、导数的概念

导数:一个函数在某一点导数,描述了这个函数在这个点的变化率

例子1:运动员的速度和时间t的变化曲线:我们想得到速度变化的快慢,那就需要得到加速度a和时间变化的曲线,速度变化越快,加速度就越大,如蓝色方框这个,速度变化越小,那加速度变化就越小,如下红色方框。

我们可以看到,1)起跑的时候,加速度非常快,2)随后,加速度变小,3)最后冲刺,加速度变大。这里的加速度表示的是速度变化快慢,公式求法,就是求导

这里的加速度,就是速度在曲线上的变化率,下面的红色条线就是斜率

2、导数的求法

导数的求法有很多公式,如幂函数等等,都比较实用

举例

多项式求导,对每一项都要求导

3、求导的几何意义

   比如 y= x的平方,几何图形如下,他的导数 y'=2x,当x=1时,导数值k=2,几何意义表示:在x=2时,曲线的斜率。

4、多元函数及偏导

函数不可能只有一个影响因子,可能会有多个因子,当有多个因子的时候,就用多元函数来表示,比如房屋的价格,就会受到多种因子影响

几何图像举例,多元函数中的x,y也都有一个z和他对应,是一个曲面,这个多元函数应如何求导呢

多元函数的导数就要用偏导来求,单个变量因子的导数是关于自变量的变化率,元函数就是关于多个自变量的变化率了,多元函数中求某个变量的导数的时候,其他的就看做是常数。

举例如下,仅对x或者仅对y求导

5、梯度的概念和计算方法

5.1 梯度的概念

梯度概念:函数在某一点出沿着不同的方向运动,函数值的变化率是不同的,梯度可以定义为一个函数的全部偏导数构成的向量。梯度向量的方向是函数值变化率最大的方向。也就是对函数的某个特定点,函数值变化最迅猛的地方。

使用拉姆达做来表示某个函数的梯度,二元函数f(x,y),梯度是对x,y求偏导组成的二维向量

三元函数g(x,y,z)的梯度是对x,y,z求偏导组成的三维向量

n元函数的梯度就是分别对n个自变量求偏导构成的n维向量

5.2 梯度的计算方法

举个具体的例子f(x,y) = x的平方+y的平方,他们的梯度就是(2x,2y)

那么在点(1,1)处的梯度向量为(2,2),在点(1,1)处沿该向量变化,函数值变化最快

5.3 梯度方向,函数值变化最迅猛的原因

为了方便观察,画出xOy平面,在点(1,1)的位置,我们分步骤来说明为什么沿着梯度方向是移动最迅猛的

f(x)= x的平方+y的平方,

在点(1,1)处

第一步:计算在点(1,1)时的函数值,值为f(1,1) = 1的平方+1的平方 = 2 

第二步:如果按照向量(-1,0) 的方向移动,就是就移动一个单位,移动后的点为(0,1),函数值为1,比f(1,1)减少了1 

第三步:如果按照向量(1,0)的方向移动,到达(2,1),函数值为5,比f(1,1)增加了3

第四步,按照梯度方向(2,2)移动1,大约到达(1.7,1.7),函数值为5.78,增加了3.78,所以按照梯度方向移动,函数值增长的最迅猛

综上,通过三个不同方向的函数值的移动后变化对比,方向按照梯度方向的变化是最迅猛的。

本偏博文来自抖音号《动画讲编程》,特别鸣谢,更多AI文章请关注VX公众号

  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值