机器学习应用数学基础-微分上

O(n)和 o(n)

O(n)

$$f(x)=O(g(x))$$

• order 阶，多项式阶
• 数学表述：$\exists X_0,M,f(x)\le Mg(x)$
  举例：$M=2，2x^2=O(x^2),x_0任意$

o(n)

• 数学表述：$\forall \epsilon ,\exists X_0,f(x)\le \epsilon g(x)$
• 意义：当x足够大时，可以在任意$\epsilon$条件下成立

---

极限

$$X->\infty ,\frac{f(x)}{g(x)}->0$$
$$X->x_1,f(x)->y_1$$

---

导数

基本运算

1. 含义
   函数在某一点的变化率

2. python实现

import sympy as sp  #载入包

str_expr = "x**3-x*3"  
expr = sp.sympify(str_expr)  
print(sp.diff(expr))

3. 求导的方法

（1）四则运算
+：$(f(x)\pm g(x){)}^{\prime }=f(x{)}^{\prime }\pm g(x{)}^{\prime }$
$\times :(uv{)}^{\prime }=u^{\prime }v+u{v}^{\prime }$
$÷:(\frac{u}{v}{)}^{\prime }=\frac{u^{\prime }v-u{v}^{\prime }}{v^2}$

（2）复合函数（链式法则）
$[f(g(x)){]}^{\prime }=f^{\prime }(g(x_0))\ast g^{\prime }(x_0)$
与神经网络关系密切

---

导数应用

1. 费马定理
   $f(x)$在区间内，当$X=x_0$时，存在极值=>$f’(x_0)=0$；
   反之不见得成立（反例：$y=x^3$），但可以作为寻找极值的参考。

• 推导:
  $$x<x_0,\underset{x->x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}\ge 0$$
  $$x<x_0,\underset{x->x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}\le 0$$
  $$f^{\prime }(x)即\ge 0又\le 0，所以f^{\prime }(x)=0$$

2. 函数逼近
   $$\frac{f(x)-f(x_0)}{x-x_0}=f^{\prime }(x_0)=>f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)$$

• 意义：非线性的函数可以用斜率为$f^{\prime }(x_0)$的线性函数近似表示

（1）Rolle中值定理
$$f^{\prime }(x_2)=0,x_0<x_2<x_1,f(x_0)=f(x_1)=0$$

（2）拉格朗日中值定理
$$x和x_0之间的斜率=\frac{f(x)-f(x_0)}{x-x_0}=f^{\prime }(x_1),x_0<x_1<x$$

3. 泰勒展开

• 目的：更精细的拟合f(x)
• 为了研究函数逼近和函数本身差多少，引入泰勒展开：
  $函数逼近:f(x)\approx f(x_0)+f^{\prime }(x_0)(x-x_0)$
  $拉格朗日:f(x)=f(x_0)+f(x_1)(x-x_0)，x_1\in [x_0,x]$
  f ( x ) = f ( x 0 ) + { ( x − x 0 ) f ′ ( x 0 ) + . . . + ( x − x 0 ) N f ( N ) ( x 0 ) N ! + o ( ( x − x 0 ) N ) } f(x)=f(x_0)+\{(x-x_0)f'(x_0)+...+(x-x_0)^N\frac{f^{(N)}(x_0)}{N!}+o((x-x_0)^N)\} f(x)=f(x0​)+{(x−x0​)f′(x0​)+...+(x−x0​)NN!f(N)(x0​)​+o((x−x0​)N)}

---

凸函数

下凸函数

1. 定义
   连接函数$f(x)$上的$f(x_1)$和$f(x_2)$，在$x_1和x_2$区间内，函数值均小于线性函数的值，即为下凸函数。
   

• 数学表述：
  线性函数：$f(a)+\theta (f(b)-f(a)),\theta \in [0,1]$
  凸函数:$f(a+\theta (b-a))$
  线性函数>凸函数

2. 性质
   （1）$f^{\prime }(x)<0,当x<x_0;f^{\prime }(x)>0,当x>x_0$
   （2）$f^{\prime \prime }（x）>0$

上凸函数

1. 定义
   连接函数$f(x)$上的$f(x_1)$和$f(x_2)$，在$x_1和x_2$区间内，函数值均大于线性函数的值，即为上凸函数。

2. 性质
   （1）$f^{\prime }(x)>0,当x<x_0;f^{\prime }(x)<0,当x>x_0$
   （2）$f^{\prime \prime }（x）<0$