机器学习相关数学问题

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_26745777/article/details/82766141

微分应用

已知函数f(x)=x^x,x>0,求f(x)的最小值

  • 领会幂指函数的一般处理套路
  • 在信息熵这块我已经次遇到它,有感兴趣的可以看看我以前写的

附:

在这里插入图片描述

在计算机算法跳跃表SkipList的分析中,用到了该常数。

背景:跳表是支持增删改查的动态数据结构,能够达到与平衡二叉树、红黑树近似的效率,而代码实现简单。

求解x^x

在这里插入图片描述

积分应用

在这里插入图片描述

在这里插入图片描述

方向导数

如果函数z=f(x,y)在点P(x,y)是可微分的,那么,函数在该点沿任一方向L的方向导数都存在,且有:

在这里插入图片描述

其中,ψ为x轴到方向L的转角。

方向导数

如果函数z=f(x,y)在点P(x,y)是可微分的,那么,函数在该点沿任一方向L的方向导数都存在,且有:

在这里插入图片描述

其中,ψ为x轴到方向L的转角。

梯度

设函数z=f(x,y)在平面区域D内具有一阶连续偏导数,则对于每一个点P(x,y)∈D,向量

在这里插入图片描述

为函数z=f(x,y)在点P的梯度,记做gradf(x,y)

梯度的方向是函数在该点变化最快的方向

凸函数

若函数f的定义域domf为凸集,且满足

在这里插入图片描述

在这里插入图片描述

一阶可微

若f一阶可微,则函数f为凸函数当前仅当f的定义域domf为凸集,且
在这里插入图片描述

在这里插入图片描述

一阶可微虽然看起来比较简单,但是碰到机器学习当中的而一些实例,还有需要细细琢磨的,比如说我以前的写过的文章里面的关于超平面问题,感兴趣的朋友可以去看看我以前的文章.

关于下面的核函数我么可以深入思考一些小问题:

在这里插入图片描述

  • 结合凸函数图像和支撑超平面理解该问题
  • 对于凸函数,其一阶Taylor近似本质上是该函数的全局下估计。
  • 反之,如果一个函数的一阶Taylor近似总是起全局下估计,则该函数是凸函数。
  • 该不等式说明从一个函数的局部信息,可以得到一定程度的全局信息。

二阶可微

若函数f二阶可微,则函数f为凸函数当前仅当dom为凸集,且

在这里插入图片描述

  • 若f是一元函数,上式表示二阶导大于等于0
  • 若f是多元函数,上式表示二阶导Hessian矩阵半正定。

凸函数举例

指数函数

在这里插入图片描述

幂函数

在这里插入图片描述

负对数函数

在这里插入图片描述

负熵函数

在这里插入图片描述

范数函数

在这里插入图片描述

最大值函数

在这里插入图片描述

指数线性函数

在这里插入图片描述

Jensen不等式:若f是凸函数

基本Jensen不等式如下所示:

在这里插入图片描述

利用y=-logx是凸函数,证明:

在这里插入图片描述

利用f(E(x))≤E(f(x)),(f是凸函数),证明下式D≥0

在这里插入图片描述

个人感觉以应用为目的的高等数学并不难,几乎所有问题都可以通过熟悉的结论细致的推导出来。下架如果不相信可以看看考研数学一2010年和2016年以及我去年的做的数学一,难度真的不在一个层面上.

以机器学习的角度来看, 在这里插入图片描述

推导没什么意义,与应试教育是不一样的,我们至于奥掌握方法,照样让机器乖乖的跑起来。

csdn不定期打包发送,微信每日一篇,快乐学习,赢在中国
欢迎大家关注这个微信公众号,尊重原创,转载请注明出处
在这里插入图片描述

展开阅读全文

没有更多推荐了,返回首页