机器学习之路 - 微积分

机器学习之路 - 微积分

持续更新中…

路漫漫其修远兮，机器学习之路从数学开始，包括概率论与数理统计，微积分基础，线性代数(矩阵运算)，本文总结了微积分相关的概念和性质

1. 邻域

U ( a , δ ) ≜ { x   ∣    ∣ x − a ∣ < δ } = ( a − δ , a + δ ) U(a,\delta)\triangleq \{x\ |\ \ |x-a|<\delta\}=(a-\delta,a+\delta) U(a,δ)≜{x ∣  ∣x−a∣<δ}=(a−δ,a+δ)

$U(a,\delta )$为a的$\delta$邻域
U ˚ ( a , δ ) ≜ { x ∣ 0 < ∣ x − a ∣ < δ } \mathring{U}(a,\delta)\triangleq \{x|0<|x-a|<\delta\} U˚(a,δ)≜{x∣0<∣x−a∣<δ}

$\mathring{U}(a,\delta )$为a的去心$\delta$邻域，左邻域，右邻域

2. 常用函数

• 绝对值函数
  $$y=|x|=\{\begin{array}{l}-xx<0\\ xx\le 0\end{array}$$
  

• 符号函数
  $$y=\{\begin{array}{l}-1x<0\\ 0x=0\\ 1x>0\end{array}$$
  

• 分段函数
  $$y=f(x)=\{\begin{array}{l}2\sqrt{x}0\le x\le 1\\ 1+xx>1\end{array}$$
  

• 取整函数

  $[x]\triangleq$最接近$x$左边的整数，即向下取整
  $$y=f(x)=[x]$$
  

• 狄利克雷(Dirichlet)函数
  $$D(x)=\{\begin{array}{l}1x\in Q\\ 0x\in Q^c\end{array}$$

3. 函数性质

1. 有界性

   $y=f(x)(x\in D)$

   当$\exists M>0,\forall x\in D$,有$|f(x)|\le M$

   则$f(x)$在$D$上有界

   若$f(x)\ge M_1$,则$f(x)$有下界或

   

   若$f(x)\le M_2$,则$f(x)$有上界

2. 单调性

   $y=f(x)(x\in D)$

   若$\forall x_1,x_2\in D且x_1<x_2$,有$f(x_1)<f(x_2)$

   则$y=f(x)$在$x\in D$上严格递减

   另有单调递增，单调不减，单调不增

3. 反函数

   $y=f(x)(x\in D)$

   $y=f(x)\Rightarrow x=\varphi (y)$

   $\{\begin{array}{l}x+\sqrt{x^2+1}=e^y①\\ -x+\sqrt{x^2+1}=e^{-y}②\end{array}$

   $①-②\Rightarrow 2x=e^y-e^{-y}\Rightarrow x=\frac{e^y-e^{-y}}{2}$

   反函数为：$x=\frac{e^y-e^{-y}}{2}$

4. 奇偶性

   $y=f(x),x\in D,D关于原点对称$

   若$\{\begin{array}{l}f(-x)=-f(x),y=f(x)为奇函数\\ f(-x)=f(x),y=f(x)为偶函数\end{array}$

5. 周期性：$f(x+l)=f(x)$恒成立

   $l$为周期，通常指最小正周期。$sinx$，$cosx$都是以$2\pi$为周期的周期函数，$tanx$是以$\pi$为周期的周期函数

   在每个长度为$l$的区间上，函数图形有相同形状。

4.极限

$性质\{\begin{array}{l}一般性质\{\begin{array}{l}唯一性\\ 保号性\\ 局部有界性\end{array}\\ 运算性质\\ 存在性质\end{array}$

4.1 数列极限

4.1.1 定义

$a_n=\frac{n}{n+1}:\frac{1}{2},\frac{2}{3},\frac{3}{4},\dots$

$|a_n-1|=\frac{1}{n+1}$

取${ϵ}_1=\frac{1}{10}$,$|a_n-1|=\frac{1}{n+1}<10\Rightarrow n>9$

​ ${ϵ}_1=\frac{1}{100}$,$|a_n-1|=\frac{1}{n+1}<100\Rightarrow n>99$

​ $\dots$

$\forall ϵ>0,|a_n-1|=\frac{1}{n+1}<ϵ⟺n>[\frac{1}{ϵ}]-1,即{\lim }_{n\to \infty }{a}_n=1$

$a_n=\frac{1}{n^2+1}$

$\forall ϵ>0,|a_n-0|=\frac{1}{n^2+1}<ϵ⟺n>[\sqrt{\frac{1}{ϵ}-1}],即{\lim }_{n\to \infty }{a}_n=0$

定义： { a n } \{a_n\} {an​}数列,A为常数(constant),若$\forall ϵ>0,\exists N>0$当$n>N$时，$|a_n-A|<ϵ$

则称$A$为 { a n } \{a_n\} {an​}的极限，记作：
$$\underset{n\to \infty }{\lim }{a}_n=A$$

例1.
证明${\lim }_{n\to \infty }\frac{n}{2n+1}=\frac{1}{2}$

$\forall ϵ>0$

$|\frac{n}{2n+1}-\frac{1}{2}|=\frac{1}{2(2n+1)}<ϵ⟺n>\frac{1}{2}(\frac{1}{2ϵ}-1)$
取$N=[\frac{1}{2}(\frac{1}{2ϵ}-1)]$,当$n>N$
$|\frac{n}{2n+1}-\frac{1}{2}|<ϵ$

例2.
证明$li{m}_{n\to \infty }\frac{2n^2-1}{2n^2+1}=1$

证：$\forall ϵ>0$

$|\frac{2n^2-1}{2n^2+1}-1|=\frac{2}{2n^2+1}\le \frac{1}{n^2}<ϵ⟺n>\sqrt{\frac{1}{ϵ}}$

取$N=[\sqrt{\frac{1}{ϵ}}]$当$n>N$时，

$|\frac{2n^2-1}{2n^2+1}-1|<ϵ$

$\therefore li{m}_{n\to \infty }\frac{2n^2-1}{2n^2+1}=1$

4.1.2 数列极限的性质

极限是计算，凡计算就有性质，各种计算有自己的性质

1. 唯一性

   若$li{m}_{n\to \infty }{a}_n=A,li{m}_{n\to \infty }{a}_n=B$

   则$A=B$

   证(反正法)：设$A\ne B$，不妨设$A>B$
   取$ϵ=\frac{A-B}{2}>0$
   $\because li{m}_{n\to \infty }{a}_n=A$
   $\therefore \exists N_1>0$当$n>N_1$时
   $|a_n-A|<\frac{A-B}{2}⟺\frac{A+B}{2}<a_n<\frac{3A-B}{2}(\ast )$

   又$\because li{m}_{n\to \infty }{a}_n=B$

   $\therefore \exists N_2>0$当$n>N_2$时

   $|a_n-B|<\frac{A-B}{2}⟺\frac{3B-A}{2}<a_n<\frac{A+B}{2}(\ast \ast )$

   取 N = m a x { N 1 , N 2 } N=max\{N_1,N_2\} N=max{N1​,N2​}，当$n>N$时，$(\ast )、(\ast \ast )$均成立

   此时，矛盾，$\therefore A=B$

   例3：$a_n=(-1{)}^n$

   $li{m}_{n\to \infty }{a}_n$不存在

2. 有界性，有极限则有界，有界不一定有极限

   若$li{m}_{n\to \infty }{a}_n=A$，则$\exists M>0$使$|a_n|\le M$，反之不成立

   证：取$ϵ=1$

   $\because li{m}_{n\to \infty }{a}_n=A$

   $\therefore \exists N>0$，当$n>N$，$|a_n-A|<1\Rightarrow |a_n|<1+|A|$

   取 M = m a x { ∣ a 1 ∣ , ∣ a 2 ∣ , … , ∣ a N ∣ , 1 + ∣ A ∣ } M=max\{|a_1|,|a_2|,\dots,|a_N|,1+|A|\} M=max{∣a1​∣,∣a2​∣,…,∣aN​∣,1+∣A∣}

   则$\forall n$，有$a_n\le M$

   反例：$a_n=1+(-1{)}^n$，$li{m}_{n\to \infty }{a}_n$不存在，但是$|a_n|\le 2$

   三角不等式：
   $||a|-|b||\le |a\pm b|\le |a|+|b|$
   $||a_n|-|A||\le a_n-A<1$
   $|a_n|-|A|<1$

3. 保号性

   若$li{m}_{n\to \infty }{a}_n=A>0(<0)$

   则存在$\exists N>0$，当$n>N$时，$a_n>0(<0)$

   证明：设$A>0$

   取$ϵ=\frac{A}{2}>0$

   $\because li{m}_{n\to \infty }{a}_n=A$

   $\therefore \exists N>0$，当$n>N$时

   $|a_n-A|<\frac{A}{2}\Rightarrow a_n>\frac{A}{2}>0$

4.2 函数极限

4.2.1 定义

$f(x)=\frac{x^2-1}{x-1}(x\ne 1)$

$f(x)=x+1(x\ne 1)$

$x\to 1^{-}$, $f(x)\to 2$

$x\to 1^{+}$,$f(x)\to 2$

$x$趋向于a的定义

$x\to \{\begin{array}{l}x\ne a\\ x\to a^{-},x\to a^{+}(一定保证双侧趋近)\end{array}$

证明：$li{m}_{x\to 1}\frac{x^2-1}{x-1}=2$

$\forall ϵ>0$，$|\frac{x^2-1}{x-1}-2|=|x-1|<ϵ$ ($ϵ$为误差，具有任意性)

取$\delta =ϵ$，当$0<|x-1|<\delta$时，$|\frac{x^2-1}{x-1}-2|<ϵ$，即$li{m}_{x\to 1}\frac{x^2-1}{x-1}=2$

1. 自变量趋于有限值时，函数的极限，$x$无限接近一个常数$a$，函数无限接近的值

   $y=f(x)(x\in D)$，$A$是常数

   当$\forall ϵ>0$，$\exists \delta >0$，当$0<|x-a|<\delta$时，

   $|f(x)-A|<ϵ$

   则$A$为$f(x)$当$x\to a$时的极限

   记为：$li{m}_{x\to a}f(x)=A$或$f(x)\to A(x\to a)$

   注意：

   $li{m}_{x\to a}f(x)$与$f(x)$在$x=a$处的定义无关

   如：$li{m}_{x\to 2}\frac{x^3-8}{x-2}=li{m}_{x\to 2}(x^2+2x+4)=12$

   左右极限：

   $li{m}_{x\to a^{-}}f(x)\triangleq f(a-0)$ - 左极限，$x$从左侧无限接近$a$

   $li{m}_{x\to a^{+}}f(x)\triangleq f(a+0)$ - 右极限，$x$从右侧无限接近$a$

   $li{m}_{x\to a}f(x)$存在$⟺f(a-0)、f(a+0)$存在且相等，即极限存在的充要条件：左右极限都存在且二者相等

   例1. $li{m}_{x\to 2}(3x+1)=7$

   证：$\forall ϵ>0$

   $|(3x+1)-7|=3|x-2|<ϵ⟺|x-2|<\frac{ϵ}{3}$

   取$\delta =\frac{ϵ}{3}$

   当$0<|x-2|<\delta$时，$|(3x+1)-7|<ϵ$

   即：$li{m}_{x\to 2}(3x+1)=7$

   例2. $li{m}_{x\to 1}\frac{x^3-1}{x-1}=3$

   证：$\forall ϵ>0$

   $|\frac{x^3-1}{x-1}-3|=|x^2+x+1-3|=|x^2+x-2|=|x+2|\bullet |x-1|<4|x-1|<ϵ⟺|x-1|<\frac{ϵ}{4}$取 δ = m i n { ϵ 4 , 1 } \delta=min\{\frac{\epsilon}{4}, 1\} δ=min{4ϵ​,1}，当$0<|x-1|<\delta$时，$|\frac{x^3-1}{x-1}-3|<ϵ$

   即：$li{m}_{x\to 1}\frac{x^3-1}{x-1}=3$

2. 自变量趋于无穷时，函数的极限
   $x\to \infty \{\begin{array}{l}x\to +\infty \\ x\to -\infty \\ x\to \pm \infty \end{array}$

   case 1. $x\to +\infty$，当$\forall ϵ>0$，$\exists X>0$，当$x>X$时，$|f(x)-A|<ϵ$，称$A$为$f(x)$当$x\to +\infty$时的极限

   例3：$x\to +\infty ⟹\frac{1}{x}\to 0⟹3^{\frac{1}{x}}\to 1$

   例4：$li{m}_{x\to +\infty }\frac{2x^2}{x^2+1}=2$

   证：$\forall ϵ>0$

   $|\frac{2x^2}{x^2+1}-2|=\frac{2}{x^2+1}<\frac{x^2}{2}<ϵ⟺x>\sqrt{\frac{2}{ϵ}}$

   取$X=\sqrt{\frac{2}{ϵ}}$，当$x>X$时，

   $|\frac{2x^2}{x^2+1}-2|<ϵ$

   $\therefore li{m}_{x\to +\infty }\frac{2x^2}{x^2+1}=2$

   case 2. $x\to -\infty$

   若$\forall ϵ>0,\exists X>0$，当$x<-X$时，有$|f(x)-A|<ϵ$，则称$A$为$f(x)$当$x\to -\infty$时的极限，记作：$li{m}_{x\to -\infty }fx=A$

   case 3. $x\to \pm \infty (\infty )⟹x^2\to +\infty ⟹e^{-x^2}\to 0$

   若$\forall ϵ>0,\exists >0$，当$|x|>X$时，有$|f(x)-A|<ϵ$，则称$A$为$f(x)$当$x\to \infty$时的极限，记作：$li{m}_{x\to \infty }fx=A$

4.2.2 函数极限的性质

1. 唯一性 - 函数极限存在即唯一

   $li{m}_{x\to a}f(x)=A,li{m}_{x\to a}f(x)=B⟹A=B$

   $li{m}_{x\to +\infty }f(x)=A,li{m}_{x\to +\infty }f(x)=B⟹A=B$

   $li{m}_{x\to -\infty }f(x)=A,1mmli{m}_{x\to -\infty }f(x)=B⟹A=B$

   $li{m}_{x\to \infty }f(x)=A,li{m}_{x\to \infty }f(x)=B⟹A=B$

2. 保号性

   $li{m}_{x\to a}f(x)>0(<0)⟹\exists ϵ>0，当0<|x-a|<ϵ时，f(x)>0(<0)$

   极限正，则去心领域正，极限负，则去心领域负

3. 局部有界性

4.3 无穷小和无穷大

4.3.1 无穷小

$li{m}_{x\to a}\alpha (x)=0$，则$\alpha (x)$当$x\to a$时为无穷小

$li{m}_{x\to \infty }\alpha (x)=0$，则$\alpha (x)$当$x\to \infty$时为无穷小

例

$3(x-1{)}^2$，$li{m}_{x\to 1}3(x-1{)}^2=0$，$3(x-1{)}^2$当$x\to 1$时为无穷小

0是无穷小，$lim0=1$

4.3.2 无穷大

$li{m}_{x\to 1}f(x)=\infty$，则$f(x)$当$x\to a$时为无穷大

$li{m}_{x\to 1}\frac{1}{f(x)}=0$，则$f(x)$当$x\to a$时为无穷大

无穷小和无穷大为倒数关系

4.4 极限运算法则

1. $li{m}_{x\to a/\infty }f(x)=A⟺f(x)=A+\alpha$，其中$\alpha \to 0(x\to a/\infty )$

2. $\alpha \to 0,\beta \to 0,⟹\alpha \pm \beta \to 0$，$x\to a$

3. $\alpha \to 0(x\to a),|\beta |\le M⟹\alpha \beta \to 0(x\to a)$

4. 若$limf(x)=A,limg(x)=B$，那么

   $lim[f(x)\pm g(x)]=limf(x)\pm limg(x)=A\pm B$

   $lim[f(x)\times g(x)]=limf(x)\times limg(x)=A\times B$

   若又有$B\ne 0$，则

   $lim\frac{f(x)}{g(x)}=\frac{limf(x)}{limg(x)}=\frac{A}{B}$

5. 如果$limf(x)$存在，$c$为常数，那么：$lim[cf(x)]=climf(x)$

6. 如果$limf(x)$存在，$n$为正整数，那么：$lim[f(x){]}^n=[limf(x){]}^n$

7. 若$\phi (x)\ge \psi (x)$，而$lim\phi (x)=A,lim\psi (x)=B$，那么$A\ge B$

8. (复合函数的极限运算法则)设函数$y=[f(x)]$是由函数$u=g(x)$与函数$y=f(u)$复合而成，$f[g(x)]$在点$x_0$的某去心领域内有定义，若$limg(x)=u_0$，$li{m}_{u\to u_0}f(u)$=A，且存在$\delta >0$，当$x\in \mathring{U}(x_0,{\delta }_0)$时，有$g(x)\ne u_0$，则：$li{m}_{x\to x_0}f[g(x)]=li{m}_{u\to u_0}f(u)=A$

4.5 夹逼定理

数列

$\begin{array}{r}{a}_n\le b_n\le c_n\\ li{m}_{n\to \infty }{a}_n=li{m}_{n\to \infty }{c}_n=A\end{array}\}⟹li{m}_{n\to \infty }{b}_n=A$

例

$1-\frac{1}{n}\le 1+\frac{1}{n}\le 1+\frac{2}{n}$

$\begin{array}{r}li{m}_{n\to \infty }(1-\frac{1}{n})=1\\ li{m}_{n\to \infty }(1+\frac{2}{n})=1\end{array}\}⟹li{m}_{n\to \infty }(1+\frac{1}{n})=1$

函数

$\{\begin{array}{l}f(x)\le g(x)\le h(x)\\ limf(x)=limh(x)=A\end{array}⟹limg(x)=A$

5. 导数

5.1 实例

1. $s=s(t),t\in [t_1,t_2]$

   $t=t_0$,求$v(t_0)$

   取$[t_0,t_0+\Delta ]$，$\Delta s=s(t_0+\Delta t)-s(t_0)$

   平均速度：$\bar{v}=\frac{\Delta s}{\Delta t}$

   瞬时速度：$v(t_0)=li{m}_{\Delta t\to 0}\frac{\Delta s}{\Delta t}$

2. $y=f(x)$

   $\bar{k}=\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$

   $\Delta x\to 0$时，$\bar{k}$为$M_0$的切线，即：

   $k_{切}=lim\Delta x\to 0\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$

   

5.2 导数定义

$y=f(x)(x\in D)$，$x_0\in D.x_0+\Delta x\in D$

$\Delta y=f(x_0+\Delta x)-f(x_0)$

若$li{m}_{\Delta x\to 0}\frac{\Delta y}{\Delta x}$存在，称$f(x)$在$x=x_0$处可导，表示切线斜率，表明变化率

极限值为$f(x)$在$x=x_0$处的导数，记着：$f^{\prime }(x_0)$或$\frac{dy}{dx}{|}_{x=x_0}$

注：

1. $f^{\prime }(x)\triangleq li{m}_{x\to x_0}\frac{f(x)-f(x_0)}{x-x_0}$

2. 若$f^{\prime }(x_0)$存在，则$f(x)$在$x=x_0$处连续（在$x_0$处，极限值=函数值），可导一定连续，连续不一定可导，即：可导是连续的充分非必要条件

3. 左导数：$f_{\_}^{\prime }(x_0)=li{m}_{\Delta x\to 0^{-}}\frac{\Delta y}{\Delta x}$

4. 左导数：$f_{+}^{\prime }(x_0)=li{m}_{\Delta x\to 0^{+}}\frac{\Delta y}{\Delta x}$

5. $f^{\prime }(x_0)$存在$⟺$$f_{\_}^{\prime }(x_0)$、$f_{+}^{\prime }(x_0)$存在且相等（左右导数）

   左右导数不等的例子

   $f(x)=\{\begin{array}{l}{e}^x-1,x<0\\ ln(1+2x),x\ge 0\end{array}$

   $f_{\_}^{\prime }(0)=li{m}_{x\to 0^{-}}\frac{f(x)-f(0)}{x-0}=1$

   $f_{+}^{\prime }(0)=li{m}_{x\to 0^{+}}\frac{f(x)-f(0)}{x-0}=2$

   左右导数都存在但不相等，所以导数$f^{\prime }(0)$不存在

6. 瞬时速度：$v(t_0)=s^{\prime }(t_0)$

   瞬时加速度：$a(t_0)=v^{\prime }(t_0)$

   $f(x)$在$M_0(x_0,f(x_0))$的切线：$y-f(0)=f^{\prime }(x_0)(x-x_0)$

5.3 求导数

5.3.1 定义求导数

根据定义计算对应的极限值即可

$y=f(x)=x^n$

$f^{\prime }(x)=n{x}^{n-1}$

$x^n-a^n=(x-a)(x^{n-1}+a{x}^{n-2}+\cdots +a^{n-1})$

例：$x^5-a^5=(x-a)(x^4+a{x}^3+a^2{x}^2+a^{3}x+a^4)$

5.3.2 求导法则

初等函数求导：

幂函数：$(x^a{)}^{\prime }=a{n}^{a-1},a\in R$，特殊：$(\sqrt{x}{)}^{\prime }=\frac{1}{2\sqrt{x}}$，$(\frac{1}{x}{)}^{\prime }=\frac{1}{x^2}$

指数函数：$(a^x{)}^{\prime }=a^{x}ln(a)$，特殊：$(e^x{)}^{\prime }=e^x$

对数函数：$(lo{g}_{a}x{)}^{\prime }=\frac{1}{xln(a)},(a>0且a\ne 1)$，特殊：$(ln(x){)}^{\prime }=\frac{1}{x}$

三角函数：

$(sin(x){)}^{\prime }=cos(x)$

反三角函数：

6. 微分