机器学习---数学基础（一、微积分）

• 微积分的核心思想：逼近

1、极限

• 引理1：单调有界序列存在极限。

1.1 无穷大之比较

$\ln n<n^{\frac{1}{a_1}}<n<n^{a_2}<{a_3}^n<n!<n^n,其中a_1,a_2,a_3都是大于1的值。$

1.1.1 求证 $\underset{x\to \infty }{\lim }\frac{n^{a_1}}{{a_2}^n}=0$

• 证明：用二项式展开进行计算。

1. 令 $h=a_2-1$
2. 则：$$\begin{gathered} a_2^n=(1+h{)}^n \\ =1+n\ast h+\frac{n(n-1)}{2!}\ast h+\frac{n(n-1)(n-2)}{3!}\ast h^2+... \end{gathered}$$
3. 令 $k=[a_1]+1$ ； (先对$a_1$取整再加 1)
4. 则，在${a_2}^n$中，一定存在 $\frac{n(n-1)(n-2)...(n-(k-1))}{k!}$
5. 最后经过同比例放缩，得到
   $$0<\frac{n^{a_1}}{{a_2}^n}\le \frac{n^k}{\frac{n(n-1)(n-2)...(n-(k-1))}{k!}{h}^k}$$

1.1.2 求证 $a^n<n!其中a>1$

• 证明： 直接相比，然后进行放缩。
• $$0<\frac{a^n}{n!}\le C\frac{a}{n}\to 0$$

1.2 无穷小之比较

• 与无穷大的比较正好相反
• $\frac{1}{n^n}<\frac{1}{n!}<\frac{1}{{a_3}^n}<\frac{1}{n^{a_2}}<\frac{1}{n}<\frac{1}{n^{\frac{1}{a_1}}}<\frac{1}{\ln n}$

1.2.1 求证 $\frac{1}{n}$ 发散

$$\underset{\ge \frac{1}{2}}{\underbrace{1}}+\underset{\ge \frac{1}{2}}{\underbrace{\frac{1}{2}}}+\underset{\ge \frac{1}{2}}{\underbrace{\frac{1}{3}+\frac{1}{4}}}+\underset{\ge \frac{1}{2}}{\underbrace{\frac{1}{5}+\frac{1}{6}+\frac{1}{7}+\frac{1}{8}}}$$

• 可以看成是无数了 $\ge \frac{1}{2}$ 的数进行叠加
• 所以是发散的。

1.2.2 求证 $\frac{1}{n^a}$ 收敛， a > 1

$$\underbrace{\frac{1}{1^n}}+\underbrace{\frac{1}{2^n}+\frac{1}{3^n}}+\underbrace{\frac{1}{4^n}+\frac{1}{5^n}\frac{1}{6^n}+\frac{1}{7^n}}+...$$

• $\frac{1}{(2^n{)}^a}+...+\frac{1}{(2^{n+1}-1{)}^a}<\frac{2^n}{(2^n{)}^a}$
• $\frac{2^n}{(2^n{)}^a}=\frac{1}{(2^n{)}^{a-1}}={\frac{1}{2^{a-1}}}^n$
• 因为 a>1,所以，令，$\frac{1}{2^{a-1}}=w,w<1$
• 所以，$原式<w^n$
• $\sum w^n=\frac{1}{1-w}$
• 所以，上式收敛。

补充知识：
等比数列的求和公式为：$$\frac{a_1(1-q^n)}{1-q},q不等于1$$

1.3 极限的定义

• 极限定义的记忆方式：想要任意近，就要足够近。

$$\{\begin{array}{l}对于任意的正数ϵ,\\ 若使得|f(x)-L|<ϵ;\\ 则存在\delta ,使得|x-x_0|<\delta \end{array}$$

• 极限的数学符号：
  

1.4 极限的运算

1.4.1 极限的四则运算

• 加法
  $\underset{x\to x_0}{\lim }f(x)=L_1$; $\underset{x\to x_0}{\lim }g(x)=L_2$
  则存在，$\underset{x\to x_0}{\lim }f(x)+g(x)=L_1+L_2$

1.4.2 极限的复合运算

$\underset{x\to x_0}{\lim }f(x)=L_1$; $\underset{x\to L_1}{\lim }g(x)=L_2$
则存在，$\underset{x\to x_0}{\lim }g(f(x))=L_2$

1.4.3 两个重要极限

$$\underset{x\to \infty }{\lim }(1+\frac{1}{n}{)}^n=e$$
$$\underset{x\to 0}{\lim }\frac{sinx}{x}=1\to 与正弦有关的函数会用到$$

• (1) 证明: $(1+\frac{1}{n}{)}^n$ 有界
  • 二项展开
  • $\underset{\le 1}{\underbrace{1}}+\underset{\le 1}{\underbrace{n\ast \frac{1}{n}}}+\underset{\le 1}{\underbrace{\frac{n(n-1)}{2!}\frac{1}{n^2}+\frac{n(n-1)(n-2)}{3!}\frac{1}{n^3}+\frac{n(n-1)(n-2)(n-3)}{4!}\frac{1}{n^4}+...}}$
  • 所以 $(1+\frac{1}{n}{)}^n\le 3$
  • $$\begin{gathered} (1+\frac{1}{n}{)}^n=1+n\ast \frac{1}{n}+\frac{n(n-1)}{2!}\frac{1}{n^2}+\frac{n(n-1)(n-2)}{3!}\frac{1}{n^3}+\frac{n(n-1)(n-2)(n-3)}{4!}\frac{1}{n^4}+... \\ \le 1+1+\frac{1}{1\ast 2}+\frac{1}{2\ast 3}+\frac{1}{3\ast 4}+... \\ =1+1+1-\frac{1}{2}+\frac{1}{2}-\frac{1}{3}+\frac{1}{3}-\frac{1}{4}+... \\ =1+1+1-\frac{1}{n}\le 3 \end{gathered}$$
• (2) 证明: $(1+\frac{1}{n}{)}^n$ 单调递增，即$(1+\frac{1}{n}{)}^n<(1+\frac{1}{n+1}{)}^{n+1}$
  • 也是用二项展开来证明，和上式一样。

1.4.4 夹逼定理

$\underset{x\to x_0}{\lim }f(x)=L$; $\underset{x\to x_0}{\lim }g(x)=L$
且在$(x_1,x_2)$内，$x_1<x_0<x_2$，有$f(x)\le k(x)\le g(x)\to \underset{x\to x_0}{\lim }k(x)=L$

1.5 无穷小阶数

• 趋近无穷小的速度越快，阶数越大
  趋近··················越慢，······越小
  

1.5.1 等价无穷小代还求极限

2、微分与泰勒级数

2.1 微分

2.1.1 导数

• 几何定义：函数的切线。
  

2.1.2 求导法则

2.1.3 反函数求导

• 定义：
  $$\begin{gathered} x\to y=f(x),其中x为自变量，y为因变量，f^{{}^{\prime }}=\lim \frac{\Delta y}{\Delta x} \\ 反函数可以表示为y\to x=g(y),其中y为自变量，x为因变量，g^{{}^{\prime }}=\lim \frac{\Delta x}{\Delta y} \end{gathered}$$
  并且满足$f^{{}^{\prime }}(x)\ast g^{{}^{\prime }}(y)=1$

• 举个例子：

  • 求：$arcsi{n}^{{}^{\prime }}x$
    • $y=arcsin(x);x=sin(y)$
    • $y^{{}^{\prime }}=arcsi{n}^{{}^{\prime }}(x)=\frac{1}{si{n}^{{}^{\prime }}(y)}=\frac{1}{cos(arcsin(x))}=\frac{1}{\sqrt{1-x^2}}$

2.1.4 复合函数的导数

• 定义：
  $g^{{}^{\prime }}(f(x))=g^{{}^{\prime }}(f(x))\ast f^{{}^{\prime }}(x)$

• 举个例子：

  • 求 $(x^x{)}^{{}^{\prime }}$
    • 解析： $k=e^{lnk}$
    • $(x^x{)}^{{}^{\prime }}=(e^{ln{x}^x}{)}^{{}^{\prime }}=(e^{xlnx}{)}^{{}^{\prime }}$ 由此变成 复合函数。

2.2 泰勒级数

2.2.1 罗尔定理

1. 定义
   $y=f(x)$ 在区间$[a,b]$内可导，且$f(a)=f(b)$，则一定存在$c\in (a,b)$ 使得$f^{{}^{\prime }}(c)=0$

2.2.1 微分中值定理和柯西中值定理

1. 微分中值定理定义
   $y=f(x)$ 在区间$[a,b]$内可导，则一定存在$c\in (a,b)$ 使得$f^{{}^{\prime }}(c)=\frac{f(b)-f(a)}{b-a}$

2. 柯西中值定理定义
   $f(x),g(x)$ 在区间$[a,b]$内可导，且$g(b)\ne g(a)$【即，分母不为0】，则一定存在$c\in (a,b)$ 使得$\frac{f(b)-f(a)}{g(b)-g(a)}=\frac{f^{{}^{\prime }}(c)}{g^{{}^{\prime }}(c)}$

2.2.3 洛必达法则

• 用处
  用于判断$\frac{0}{0};\frac{\infty }{\infty }$的情况

1. 定义
   $\underset{x\to a}{\lim }f(x)=0,\underset{x\to a}{\lim }g(x)=0$,且满足f(x),g(x)在 a 点 空心邻域可导，则：$$\underset{x\to a}{\lim }\frac{f(x)}{g(x)}=\underset{x\to a}{\lim }\frac{f^{{}^{\prime }}(a)}{g^{{}^{\prime }}(a)}$$

2.2.4 泰勒展开的证明

• 带尾项的证明
  $f(x)=f(x_0)+f^{{}^{\prime }}(x_0)(x-x_0)+\frac{f^{{}^{\prime \prime }}(x_0)}{2!}(x-x_0{)}^2+O(x-x_0{)}^2,其中x=x_0+\Delta x$

• 可以直接使用洛必达法则直接证明。

• $e^x$ 在0点处的泰勒展开
  $e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+...$

• $sin(x)$ 在0点处的泰勒展开
  $sin(x)=x-\frac{x^3}{3!}+\frac{x^5}{5!}-\frac{x^7}{7!}+...$

• $cos(x)$ 在0点处的泰勒展开
  $cos(x)=1-\frac{x^2}{2!}+\frac{x^4}{4!}-\frac{x^6}{6!}+..$

2.3 偏导数

$$\frac{\partial f(a,b)}{\partial a}=\underset{\Delta a\to 0}{\lim }\frac{f(a+\Delta a,b)-f(a,b)}{\Delta a}$$

• 对称性
  $\frac{\partial \frac{\partial f}{\partial a}}{\partial b}=\frac{\partial \frac{\partial f}{\partial b}}{\partial a}$
  $上式=\frac{{\partial }^{2}f}{\partial a\partial b}$

2.3.1 链式求导法则

• 已知：$f(u,v),u(x,y),v(x,y)$
• 则，可以得到 $\frac{\partial f}{\partial x}=\frac{\partial f}{\partial u}\frac{\partial u}{\partial x}+\frac{\partial f}{\partial v}\frac{\partial v}{\partial x}$

2.3.2 梯度算符、拉氏算符

• 梯度运算符
  Δ ⃗ = { ∂ ∂ x , ∂ ∂ y , ∂ ∂ z } \vec{\Delta} = \{ \frac{\partial}{\partial x}, \frac{\partial}{\partial y}, \frac{\partial}{\partial z} \} Δ ={∂x∂​,∂y∂​,∂z∂​}

• 拉普拉斯运算符
  $\vec{\Delta }\vec{\Delta }=\frac{{\partial }^2}{{\partial }^{2}x}+\frac{{\partial }^2}{{\partial }^{2}y}+\frac{{\partial }^2}{{\partial }^{2}z}$

  • 重要性质：
    任意坐标下，拉氏算符不变。
    $$\begin{gathered} 极坐标下拉氏运算符(x,y)\to (r,\theta ) \\ (\frac{\partial z}{\partial r}{)}^2+\frac{1}{r^2}(\frac{\partial z}{\partial \theta }{)}^2=(\frac{\partial z}{\partial x}{)}^2+(\frac{\partial z}{\partial y}{)}^2 \end{gathered}$$

3、积分与微积分基本定理

• 几何定义：函数与 $X$轴之间的有向面积。
• 代数定义：无穷求和。

3.0 积分计算方式$\to$变量替换

3.1 积分计算方式$\to$分部积分

• 定义：
  已知，$f(x),g(x)$
  则，$$\begin{gathered} f(x)g(x)+c=\int f(x)g^{{}^{\prime }}(x)dx+\int g(x)f^{{}^{\prime }}(x)dx \\ =\int f(x)dg(x)+\int g(x)df(x) \end{gathered}$$

• 举个例子

  • $\int x^2{e}^{x}dx=\int x^{2}d{e}^x=x^{2}d{e}^x-\int e^{x}d{x}^2$

4、牛顿法

• 对于机器学习或统计算法的最后都会转换成一个优化的问题。
  也就是：求某一个损失函数的极小值。
  

1）注意事项（局限性）

2）具体做法

• 本质是：二次逼近
  

5、 正态分布

5.1 标准的正态分布

$${\int }_{-\infty }^{+\infty }{e}^{-x^2}dx=\sqrt{\pi }$$

• 具体计算过程如下所示：
  $$\begin{gathered} {\int }_{-\infty }^{+\infty }{e}^{-x^2}dx{\int }_{-\infty }^{+\infty }{e}^{-y^2}dy= \\ {\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{e}^{-(x^2+y^2)}dxdy= \\ {\int }_0^{2\pi }{\int }_0^{+\infty }{e}^{-r^2}rdrd\theta = \\ {\int }_0^{2\pi }d\theta {\int }_0^{+\infty }{e}^{-r^2}rdr=\pi \end{gathered}$$

• 由上式可以得到
  $$\frac{1}{\sqrt{\pi }}\int e^{-x^2}dx=1$$

• 进而得到 $p(x)=\frac{1}{\sqrt{\pi }}{e}^{-x^2};\int p(x)=1$

• 两点修正：

  • 期望为 $\mu$ 最高点的位置。
  • 方差为 ${\sigma }^2$ 从峰值下落的快慢。

$$N(\mu ,\sigma )=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

5.2 大数定律+中心极限定理

• 任意的概率分布作独立叠加将还原为正态分布。

5.3 误差函数

• 定义：
  偏离正态分布的原点会积累多少误差
• 具体公式：
  $$errorf(x)=\frac{2}{\sqrt{\pi }}{\int }_0^x{e}^{-t^2}dt=2N(0,1)-1$$
• 示意图：
  

5.4 二维正态分布

$p(x)=\frac{1}{\sqrt{\pi }}{e}^{-x^2}$

• $$\begin{gathered} p(x,y)=p(x)p(y)若x,y相会独立 \\ =\frac{1}{\sqrt{\pi }}{e}^{-x^2}\frac{1}{\sqrt{\pi }}{e}^{-y^2} \end{gathered}$$

• $x,y$相关不独立的正态分布

• $$p(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}exp(-\frac{1}{2(1-{\rho }^2)}(\frac{(x-{\mu }_x{)}^2}{{\sigma }_x^2}-2\rho \frac{x-{\mu }_x}{{\sigma }_x}\frac{y-{\mu }_y}{{\sigma }_y}+\frac{(y-{\mu }_y{)}^2}{{\sigma }_y^2}))$$### 5.4.1 方差
  $${\sigma }^2=E[(x-E(x){)}^2]$$

5.4.2 协方差

$$cov(x,y)=E[(x-E(x))\ast (y-E(y))]$$

• 为0 ，则$x,y$是相互独立的。
• 不为0，则$x,y$具有一定的相关性。

5.4.3 相关系数 $\rho$

$${\rho }_{x,y}=\frac{cov(x,y)}{\sigma (x)\sigma (y)}$$