微分应用
已知函数f(x)=x^x,x>0,求f(x)的最小值
- 领会幂指函数的一般处理套路
- 在信息熵这块我已经次遇到它,有感兴趣的可以看看我以前写的
附:
在计算机算法跳跃表SkipList的分析中,用到了该常数。
背景:跳表是支持增删改查的动态数据结构,能够达到与平衡二叉树、红黑树近似的效率,而代码实现简单。
求解x^x
积分应用
方向导数
如果函数z=f(x,y)在点P(x,y)是可微分的,那么,函数在该点沿任一方向L的方向导数都存在,且有:
其中,ψ为x轴到方向L的转角。
方向导数
如果函数z=f(x,y)在点P(x,y)是可微分的,那么,函数在该点沿任一方向L的方向导数都存在,且有:
其中,ψ为x轴到方向L的转角。
梯度
设函数z=f(x,y)在平面区域D内具有一阶连续偏导数,则对于每一个点P(x,y)∈D,向量
为函数z=f(x,y)在点P的梯度,记做gradf(x,y)
梯度的方向是函数在该点变化最快的方向
凸函数
若函数f的定义域domf为凸集,且满足
一阶可微
若f一阶可微,则函数f为凸函数当前仅当f的定义域domf为凸集,且
一阶可微虽然看起来比较简单,但是碰到机器学习当中的而一些实例,还有需要细细琢磨的,比如说我以前的写过的文章里面的关于超平面问题,感兴趣的朋友可以去看看我以前的文章.
关于下面的核函数我么可以深入思考一些小问题:
- 结合凸函数图像和支撑超平面理解该问题
- 对于凸函数,其一阶Taylor近似本质上是该函数的全局下估计。
- 反之,如果一个函数的一阶Taylor近似总是起全局下估计,则该函数是凸函数。
- 该不等式说明从一个函数的局部信息,可以得到一定程度的全局信息。
二阶可微
若函数f二阶可微,则函数f为凸函数当前仅当dom为凸集,且
- 若f是一元函数,上式表示二阶导大于等于0
- 若f是多元函数,上式表示二阶导Hessian矩阵半正定。
凸函数举例
指数函数
幂函数
负对数函数
负熵函数
范数函数
最大值函数
指数线性函数
Jensen不等式:若f是凸函数
基本Jensen不等式如下所示:
利用y=-logx是凸函数,证明:
利用f(E(x))≤E(f(x)),(f是凸函数),证明下式D≥0
个人感觉以应用为目的的高等数学并不难,几乎所有问题都可以通过熟悉的结论细致的推导出来。下架如果不相信可以看看考研数学一2010年和2016年以及我去年的做的数学一,难度真的不在一个层面上.
以机器学习的角度来看,
推导没什么意义,与应试教育是不一样的,我们至于奥掌握方法,照样让机器乖乖的跑起来。
csdn不定期打包发送,微信每日一篇,快乐学习,赢在中国
欢迎大家关注这个微信公众号,尊重原创,转载请注明出处