数学中的全微分(方程),全导数(公式),偏微分(方程),梯度,斜率,导数,方向导数等

这几天突然想到了优化理论中的梯度下降算法,看到了几个名词,愣了一下,虽然之前本科学过,但是好久不复习,后面就只知道概念了,细节理解需要复习呀。。
回想下海森矩阵,雅克皮比列式等,以及(多远)函数求极值,数值解析,梯度的意义等等,其实数学才是深度学习中最重要的。。
数学中的全微分(方程),全导数(公式),偏微分(方程),梯度,导数,方向导数,切线,斜率,射线,可导与连续,(多元)函数的积分与微分,高维空间,流行学习,核函数,参数方程,约束优化,组合优化等等很多东西其实相关的,这些基础其实很重要,要知其然,更要懂它的意义。

梯度就是用来确定因变量对于自变量的敏感程度的,其指向最快上升的方向,一元函数只有正负(自变量坐标轴),二元函数有梯度矢量,导数,方向导数只是数值,不谈方向,且倒是一般特指一元函数,多元函数常常指全微分,偏微分,复合函数还要讲全导数,切线以及切线的斜率是已经确定了直线或者曲线,来画切线,或者切线的斜率(在原函数上),在一元函数与二元函数中意义有所差别(斜率,导数与方向导数,含切向量自变量区域非直线切割类型),一元函数就是一条线,很简单,一个导数就完事,但多元函数可以有很多方向(方向导数,切线,斜率等),但都只有一个梯度,指向因变量变化最快的方向(高维指向,超过三维感觉已经想象不出来了。。)。

明确几个概念:

1.偏导数
代数意义
偏导数是对一个变量求导,另一个变量当做数
对x求偏导的话y就看作一个数,描述的是x方向上的变化率
对y求偏导的话x就看作一个数,描述的是y方向上的变化率
几何意义
对x求偏导是曲面z=f(x,y)在x方向上的切线
对y求偏导是曲面z=f(x,y)在x方向上的切线
这里在补充点.就是因为偏导数只能描述x方向或y方向上的变化情况,但是我们要了解各个方向上的情况,所以后面有方向导数的概念.
2.微分
偏增量:x增加时f(x,y)增量或y增加时f(x,y)
偏微分:在detax趋进于0时偏增量的线性主要部分
detaz=fx(x,y)detax+o(detax)
右边等式第一项就是线性主要部分,就叫做在(x,y)点对x的偏微分
这个等式也给出了求偏微分的方法,就是用求x的偏导数求偏微分
全增量:x,y都增加时f(x,y)的增量
全微分:根号(detax方+detay方)趋于0时,全增量的线性主要部分
同样也有求全微分公式,也建立了全微分和偏导数的关系
dz=Adx+Bdy 其中A就是对x求偏导,B就是对y求偏导
希望楼主注意的是导数和微分是两个概念,他们之间的关系就是上面所说的公式.概念上先有导数,再有微分,然后有了导数和微分的关系公式,公式同时也指明了求微分的方法.
3.全导数
全导数是在复合函数中的概念,和上面的概念不是一个系统,要分开.
u=a(t),v=b(t)
z=f[a(t),b(t)]
dz/dt 就是全导数,这是复合函数求导中的一种情况,只有这时才有全导数的概念.
dz/dt=(偏z/偏u)(du/dt)+(偏z/偏v)(dv/dt)
建议楼主在复合函数求导这里好好看看书,这里分为3种情况.1.中间变量一元就是上面的情况,才有全导数的概念.2.中间变量有多元,只能求偏导 3.中间变两有一元也有多元,还是求偏导.
对于你的题能求对x的偏导数,对y的偏导数,z的全微分,不能求全导数
如果z=f(x2,2x) 只有这种情况下dz/dx才是全导数!

深度学习记住两点:

全导数公式与链式法则,解决所有求导问题。

其实这么些个理论,不想要牢记,大家需要看看的时候,可以多百度,查查书籍,好好理解一下,做到心中有数,会用就行了。

重点参考:

https://my.oschina.net/u/3053883?tab=newest&catalogId=6041940
https://blog.csdn.net/kwame211/article/details/78553627
http://www.sohu.com/a/313838368_120115175

  • 3
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值