22、机器学习数学基础：一元函数微积分

1、O(n)与o(n)

O(n):f(x)=O(g(x))
$\exists x_0,M$，使得当$x\ge x_0$有f(x)$\le$Mg(x)
例如：2$x^2=O(x^2)$

o(n):f(x)=o(g(x))
$\forall ϵ\exists x_0$，使得当$x\ge x_0$有f(x)$\le ϵ$g(x)
例如：2$x^2=o(x^3)$

$x\to \infty ,\frac{f(x)}{g(x)}\to 0$
$\forall ϵ\exists x_0$，使得当$x\ge x_0$有$\frac{f(x)}{g(x)}\le ϵ$，即有f(x)$\le ϵ$g(x)

2、导数与导数的运算法则

导数：$\underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}$=$f{}^{\prime }(x)$为导数

##对符号函数求导
str_expr="x**3-x*3"
expr=sp.sympify(str_expr)
sp.diff(expr)

乘法：$(f(x)g(x){)}^{\prime }=f(x{)}^{\prime }g(x)+f(x)g(x{)}^{\prime }$
除法：$(\frac{f(x)}{g(x)}{)}^{\prime }=\frac{f(x{)}^{\prime }g(x)-f(x)g(x{)}^{\prime }}{g^2(x)}$
链式法则：$f(g(x){)}_{x=x_0}^{\prime }=f^{\prime }(g(x_0))g^{\prime }(x_0)$

3、导数应用

导数应用1 费马定理：在区间内函数存在极值，在该点的导数为0。

导数应用2 函数逼近：导数的定义可以推出当$x\to x_0,f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)$
找到$f^{\prime }(x_1)=\frac{f(x)-f(x_0)}{x-x_0}$

罗尔中值定理：$x_0<x_2，f(x_0)=f(x_2)=0，存在x_0<x_1<x_2,f^{\prime }(x_1)=0$

$G(x)=f(x)-[f(x_0)-(\frac{x-x_0}{x_1-x_0})(f(x_0)-f(x_1))]，G(x_0)、G(x_1)$均为0，所以存在$x_0<x_2<x_1,$使得$G^{\prime }(x_2)$=0，即有$f^{\prime }(x_2)=\frac{f(x_1)-f(x_0)}{x_1-x_0}$

$f(x)\approx f(x_0)+f^{\prime }(x_0)(x-x_0)$或$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+o(x-x_0)$

拉格朗日中值定理$f(x)=f(x_0)+f^{\prime }(x_1)(x-x_0)，x_1\in [x_0,x]$

洛必达法则：若$\underset{x\to x_0}{\lim }f(x)=0，\underset{x\to x_0}{\lim }g(x)=0$，则

$\underset{x\to x_0}{\lim }\frac{f(x)}{g(x)}=\underset{x\to x_0}{\lim }\frac{f^{\prime }(x)}{g^{\prime }(x)}$

洛必达法则证明：$f(x_0)=0，g(x_0)=0，\frac{f(x)-f(x_0)}{g(x)-g(x_0)}=\frac{f^{\prime }(x_1)}{g^{\prime }(x_1)}，x_1\in [x_0,x]$推出

$\underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)}{g(x)-g(x_0)}=\underset{x_1\to x_0}{\lim }\frac{f^{\prime }(x_1)}{g^{\prime }(x_1)}$

运用洛必达法则有：$\underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)-(x-x_0)f^{\prime }(x_0)}{x-x_0}=\frac{f^{\prime }(x)-f^{\prime }(x_0)}{1}=0$，$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+o(x-x_0)$得以证明

级数：$f(x)={\sum }_{i=0}^{\infty }{a}_i{x}^i$

$\forall x=x_0，有f(x_0)=\underset{n\to \infty }{\lim }{\sum }_{i=0}^N{a}_i{x}^i$

$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2}(x-x_0{)}^2+o(x-x_0{)}^2$

由$\underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)-(x-x_0)f^{\prime }(x_0)-(x-x_0{)}^2\frac{f^{\prime \prime }(x)}{2}}{(x-x_0{)}^2}=\underset{x\to x_0}{\lim }\frac{f^{\prime }(x)-f^{\prime }(x_0)-(x-x_0)f^{\prime \prime }(x_0)}{2(x-x_0)}=\frac{f^{\prime \prime }(x)-f^{\prime \prime }(x_0)}{2}=0$推出。

$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2}(x-x_0{)}^2+...+\frac{f^N(x_0)}{N!}(x-x_0{)}^N+o((x-x_0{)}^n)$

（下）凸函数：连接函数任意两点的直线，两点之间直线上的所有点比函数大。
上凸函数：连接函数任意两点的直线，两点之间直线上的所有点比函数小
凸函数的f’‘(x)>0，上凸函数的f’'(x)<0,有且只有一个极值点。
（下）凸函数：任意两点为横坐标a、b，ab之间的点c横坐标$a+(b-a)\theta ，\theta \in [0,1]$，直线值为$f(a)+\theta (f(b)-f(a))$，函数值为$f(a+(b-a)\theta )$，当$f(a)+\theta (f(b)-f(a))>f(a+(b-a)\theta )$时，为凸函数。

c为凸函数的极值点，e为c、b之间的一点，要证明$f^{\prime \prime }(x)=\underset{e\to c}{\lim }\frac{f^{\prime }(e)-f^{\prime }(c)}{e-c}\ge 0$，e-c大于0，只需证明$f^{\prime }(e)-f^{\prime }(c)$>=0

根据拉格朗日中值定理有$\frac{f(b)-f(c)}{b-c}=f^{\prime }(e)$，$f^{\prime }(c)=\underset{a\to c}{\lim }\frac{f(a)-f(c)}{a-c}$

$c=a+(b-a)\theta ，f^{\prime }(e)-f^{\prime }(c)=\frac{f(b)-f(c)}{b-c}-\frac{f(a)-f(c)}{a-c}=\frac{f(b)-f(c)}{(1-\theta )(b-a)}-\frac{f(c)-f(a)}{\theta (b-a)}=\frac{\theta f(b)-\theta f(c)-(1-\theta )(f(c)-f(a))}{\theta (1-\theta )(b-a)}$，

$\theta (1-\theta )(b-a)\ge 0$，$\theta f(b)-\theta f(c)-(1-\theta )(f(c)-f(a))=\theta f(b)+(1-\theta )f(a)-f(c)$，

a、b两点之间直线的值为$f(a)+\theta (f(a)-f(b))$必然大于函数$f(c)$，$f^{\prime \prime }(x)\ge 0$得证。
附：两点式线性函数：(x-x1)/(x2-x1)=(y-y1)/(y2-y1)