机器学习中的微积分基础

机器学习中的微积分基础

夹逼定理及重要极限

当$x\in U(x_{0},r)$时，有g(x)<=f(x)<=h(x)成立，并且$\lim\limits_{x \to x_{0}}g(x)=A$,$\lim\limits_{x \to x_{0}}h(x)=A$,那么$\lim\limits_{x \to x_{0}}f(x)=A$。

由夹逼定理可以推出一个重要极限：$\lim\limits_{x \to 0} \frac{sin(x)}{x} = 1$

极限存在定理

• 数列

单调有界数列必有极限

导数

• 简单的说，导数就是曲线的斜率。是曲线变化快慢的反应。（微商）
• 二阶导数是斜率变化快慢的反应，表征的是曲线的凹凸性
  例如：房价变化的快慢，房价增速变慢，加速度

求导的基本公式：

例：
已知函数$f(x)=x^x,x>0$，求f(x)的最小值。（信息熵会用到）
解：
要求最小值，可以先求该函数的驻点。即求满足f’(x) = 0 的点
要求该函数的导数，可以利用两边去对数的方法。

令 $t = f(x) = x^x$
两边取对数，有 $lnt = lnx^x = xlnx$
两边对x求导，有 $\frac{1}{t}t' = lnx + 1$
要求$f'(x) = 0$，则要令$t'=0$，又t>0，所以必有$lnx+1=0$
求得$x =e^{-1}$
则$f(x) = e^{-\frac{1}{e}}$
二次求导可知，该点为极小值点

方向导数与梯度

梯度的方向是函数在该点变化最快的方向

凸函数

泰勒公式

引用：
1: 夹逼定理
2: 导数表
3:方向导数与梯度
4:凸函数百度百科
5:凸函数好搜百科

参考：
7月算法