#机器学习--高等数学基础--第一章：函数与极限

引言

        本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。

---

1、映射与函数

        定义1：设 $X、Y$ 是两个非空集合，如果存在一个法则 $f$ ，使得对 $X$ 中每个元素 $x$ ，按法则 $f$ ，在 $Y$ 中有唯一确定的元素 $y$ 与之对应，那么称 $f$ 为从 $X$ 到 $Y$ 的映射，记作 $f:X\to Y$ ，其中 $y$ 称为元素 $x$ （在映射 $f$ 下）的像，并记作 $f(x)$ ，即 $y=f(x)$ ，而元素 $x$ 称为元素 $y$ （在映射 $f$ 下）的一个原像；集合 $X$ 称为映射 $f$ 的定义域，记作 $D_f$ ，即 $D_f=X$； $X$ 中所有元素的像所组成的集合称为映射 $f$ 的值域，记作 $R_f$ 或者 $f(X)$ ，即 R f = f ( X ) = { f ( x ) ∣ x ∈ X } . R_{f}=f(X)=\{f(x)|x\in X\}. Rf​=f(X)={f(x)∣x∈X}.

        定义2：设数集 $D\subset R$ ，则称映射 $f:D\to R$ 为定义在 $D$ 上的函数，通常简记为 $y=f(x),x\in D$ ，其中 $x$ 称为自变量， $y$ 称为因变量， $D$ 称为定义域，记作 $D_f$ ，即 $D_f=D.$

        定义3：反函数，设函数 $f:D\to f(D)$ 是单射，则它存在逆映射 $f^{-1}:f(D)\to D$ ，称此映射 $f^{-1}$ 为函数 $f$ 的反函数，相对于反函数 $y=f^{-1}(x)$ 来说，原来的函数 $y=f(x)$ 称为直接函数。

        定义4：复合函数，设函数 $y=f(u)$ 的定义域为 $D_f$ ，函数 $u=g(x)$ 的定义域为 $D_g$ ，且其值域 $R_g\subset D_f$ ，则由式 $y=f[g(x)],x\in D_g$ 确定的函数称为由函数 $u=g(x)$ 与函数 $y=f(u)$ 构成的复合函数，它的定义域为 $D_g$ ，变量 $u$ 称为中间变量。

        性质：
        1）函数的有界性，设函数 $f(x)$ 的定义域为 $D$ ，数集 $X\subset D.$ 如果存在数 $K_1$ ，使得 $f(x)\le K_1$ 对任一 $x\in X$ 都成立，那么称函数 $f(x)$ 在 $X$ 上有上界，而 $K_1$ 称为函数 $f(x)$ 在 $X$ 上的一个上界；如果存在数 $K_2$ ，使得 $f(x)\ge K_2$ 对任一 $x\in X$ 都成立，那么称函数 $f(x)$ 在 $X$ 上有下界，而 $K_2$ 称为函数 $f(x)$ 在 $X$ 上的一个下界；如果存在正数 $M$ ，使得 $|f(x)|\le M$ 对任一 $x\in X$ 都成立，那么称函数 $f(x)$ 在 $X$ 上有界，如果这样的 $M$ 不存在，就称函数 $f(x)$ 在 $X$ 上无界。

        2）函数的单调性，设函数 $f(x)$ 的定义域为 $D$ ，区间 $I\subset D$ ，如果对于区间 $I$ 上任意两点 $x_1$ 及 $x_2$ ，当 $x_1<x_2$ 时，恒有 $f(x_1)<f(x_2)$ ,那么称函数 $f(x)$ 在区间 $I$ 上是单调增加的；如果对于区间 $I$ 上任意两点 $x_1$ 及 $x_2$ ，当 $x_1<x_2$ 时，恒有 $f(x_1)>f(x_2)$ ,那么称函数 $f(x)$ 在区间 $I$ 上是单调减少的，单调增加和单调减少的函数统称为单调函数。

        3）函数的奇偶性，设函数 $f(x)$ 的定义域 $D$ 关于原点对称，如果对于任一 $x\in D$ ，都有 $f(-x)=f(x)$ ，那么称 $f(x)$ 为偶函数；如果对于任一 $x\in D$ ，都有 $f(-x)=-f(x)$ ，那么称 $f(x)$ 为奇函数；

        4）函数的周期性，设函数 $f(x)$ 的定义域为 $D$ ，如果存在一个正数 $l$ ，使得对于任一 $x\in D$ 有 $(x\pm l)\in D$ ，且 $f(x+l)=f(x)$ 恒成立，那么称 $f(x)$ 为周期函数， $l$ 称为 $f(x)$ 的周期，通常我们说周期函数的周期是指最小正周期。

---

2、初等函数

        五类基本初等函数：
        1）幂函数： $y=x^{\mu }$ ， $\mu \in R$ 是常数。
        2）指数函数： $y=a^x$ ， $a>0$ 且 $a\ne 1$ 。
        3）对数函数： $y=lo{g}_{a}x$ ， $a>0$ 且 $a\ne 1$ ，特别当 $a=e$ 时，记为 $y=\ln x$ 。
        4）三角函数： $y=\sin x,y=\cos x,y=\tan x$ 等。
        5）反三角函数： $y=\arcsin x,y=\arccos x,y=\arctan x$ 等。

        定义：由常数和基本初等函数经过有限次的四则运算和有限次的函数复合步骤所构成并可用一个式子表示的函数，称为初等函数。

---

3、函数的极限

        定义1：设函数 $f(x)$ 在点 $x_0$ 的某一去心邻域内有定义，如果存在常数 $A$ ，对于任意给定的正数 $\epsilon$ （不论它多么小），总存在正数 $\delta$ ，使得当 $x$ 满足不等式 $0<|x-x_0|<\delta$ ，对应的函数值 $f(x)$ 都满足不等式 $|f(x)-A|<\epsilon$ ，那么常数 $A$ 就叫做函数 $f(x)$ 当 $x\to x_0$ 时的极限，记作 ${\lim }_{x\to x_0}f(x)=A$ 或 $f(x)\to A$ （当 $x\to x_0$ ）。

        定义2：当 $x$ 仅从 $x_0$ 的左侧趋于 $x_0$ 时记作 $x\to x_0^{-}$ ，或 $x$ 仅从 $x_0$ 的右侧趋于 $x_0$ 时记作 $x\to x_0^{+}$。在 $x\to x_0^{-}$ 的情形中，把定义1中的 $0<|x-x_0|<\delta$ 改为 $x_0-\delta <x<x_0$ ，那么 $A$ 就叫做函数 $f(x)$ 当 $x\to x_0$ 时的左极限，记作 ${\lim }_{x\to x_0^{-}}f(x)=A$ 或 $f(x_0^{-})=A$ ，类似地，在 $x\to x_0^{+}$ 的情形中，把定义1中的 $0<|x-x_0|<\delta$ 改为 $x_0<x<x_0+\delta$ ，那么 $A$ 就叫做函数 $f(x)$ 当 $x\to x_0$ 时的右极限，记作 ${\lim }_{x\to x_0^{+}}f(x)=A$ 或 $f(x_0^{+})=A$ ，左极限与右极限统称为单侧极限。

         定义3：设函数 $f(x)$ 当 $|x|$ 大于某一正数时有定义，如果存在常数 $A$ ，对于任意给定的正数 $\epsilon$ （不论它多么小），总存在着正数 $X$ ，使得当 $x$ 满足不等式 $|x|>X$ 时，对应的函数值 $f(x)$ 都满足不等式 $|f(x)-A|<\epsilon$ ，那么常数 $A$ 就叫做函数 $f(x)$ 当 $x\to \infty$ 时的极限，记作 ${\lim }_{x\to \infty }f(x)=A$ 或 $f(x)\to A$ （当 $x\to \infty$ ）。

        性质：
        1）函数 $f(x)$ 当 $x\to x_0$ 时极限存在的充分必要条件是左极限和右极限各自存在且相等，即 $f(x_0^{-})=f(x_0^{+})$ 。
        2）函数极限的唯一性，如果 ${\lim }_{x\to x_0}f(x)$ 存在，那么这极限唯一。
        3）函数极限的局部有界性，如果 ${\lim }_{x\to x_0}f(x)=A$ ，那么存在常数 $M>0$ 和 $\delta >0$ ，使得当 $0<|x-x_0|<\delta$ 时，有 $|f(x)|\le M$ 。
        4）函数极限的局部保号性，如果 ${\lim }_{x\to x_0}f(x)=A$ ，且 $A>0$ （或 $A<0$ ），那么存在常数 $\delta >0$ 使得当 $0<|x-x_0|<\delta$ 时，有 $f(x)>0$ （或 $f(x)<0$ ）。
        5）如果 ${\lim }_{x\to x_0}f(x)=A(A\ne 0)$ ，那么就存在着 $x_0$ 的某一去心邻域 $\stackrel{0}{U}(x_0)$ ，当 $x\in \stackrel{0}{U}(x_0)$ 时，就有 $|f(x)|>\frac{|A|}{2}$ 。
        6）如果在 $x_0$ 的某去心邻域内 $f(x)\ge 0$ （或 $f(x)\le 0$ ），而且 ${\lim }_{x\to x_0}f(x)=A$ ，那么 $A\ge 0$ （或 $A\le 0$ ）。

---

4、无穷大与无穷小

        定义1：如果函数 $f(x)$ 当 $x\to x_0$ （或 $x\to \infty$ ）时的极限为零，那么称函数 $f(x)$ 为当 $x\to x_0$ （或 $x\to \infty$ ）时的无穷小。
        定义2：设函数 $f(x)$ 在 $x_0$ 的某一去心邻域内有定义（或 $|x|$ 大于某一正数时有定义）。如果对于任意给定的正数 $M$ （不论它多么大），总存在正数 $\delta$ （或正数 $X$ ），只要 $x$ 适合不等式 $0<|x-x_0|<\delta$ （或 $|x|>X$ ），对应的函数值 $f(x)$ 总满足不等式 $|f(x)|>M$ ，那么称函数 $f(x)$ 是当 $x\to x_0$ （或 $x\to \infty$ ）时的无穷大。

        定理：
        1）在自变量的同一变化过程 $x\to x_0$ （或 $x\to \infty$ ）中，函数 $f(x)$ 具有极限 $A$ 的充分必要条件是 $f(x)=A+\alpha$ ，其中 $\alpha$ 是无穷小。
        2）在自变量的同一变化过程中，如果 $f(x)$ 为无穷大，那么 $\frac{1}{f(x)}$ 为无穷小；反之，如果 $f(x)$ 为无穷小，且 $f(x)\ne 0$ ，那么 $\frac{1}{f(x)}$ 为无穷大。

---

5、极限运算法则

        1）有限个无穷小的和是无穷小。
        2）有界函数与无穷小的乘积是无穷小。
        3）常数与无穷小的乘积是无穷小。
        4）有限个无穷小的乘积是无穷小。
        5）如果 $\lim f(x)=A,\lim g(x)=B$ 那么
                （1） $\lim [f(x)\pm g(x)]=\lim f(x)\pm \lim g(x)=A\pm B$ ；
                （2） $\lim [f(x)\ast g(x)]=\lim f(x)\ast \lim g(x)=A\ast B$ ；
                （3）若又有 $B\ne 0$ ，则 $\lim \frac{f(x)}{g(x)}=\frac{\lim f(x)}{\lim g(x)}=\frac{A}{B}$ 。
        6）如果 $\lim f(x)$ 存在，而 $c$ 为常数，那么 $\lim [cf(x)]=c\lim f(x)$ 。
        7）如果 $\lim f(x)$ 存在，而 $n$ 是正整数，那么 $\lim [f(x){]}^n=[\lim f(x){]}^n$ 。
        8）如果 $\phi (x)\ge \psi (x)$ ，而 $\lim \phi (x)=A,\lim \psi (x)=B$ ，那么 $A\ge B$ 。
        9）复合函数的极限运算法则：设函数 $y=f[g(x)]$ 是由函数 $u=g(x)$ 与函数 $y=f(u)$ 复合而成， $f[g(x)]$ 在点 $x_0$ 的某去心邻域内有定义，若 ${\lim }_{x\to x_0}g(x)=u_0,{\lim }_{u\to u_0}f(u)=A$ ，且存在 ${\delta }_0>0$ ，当 $x\in \stackrel{0}{U}(x_0,{\delta }_0)$ 时，有 $g(x)\ne u_0$ ，则 ${\lim }_{x\to x_0}f[g(x)]={\lim }_{u\to u_0}f(u)=A$ 。

---

6、极限存在准则和两个重要极限

        准则1：夹逼准则，如果
                （1）当 $x\in \stackrel{0}{U}(x_0,r)$ （或 $|x|>M$ ）时， $g(x)\le f(x)\le h(x)$ ；
                （2） ${\lim }_{x\to x_0}g(x)=A$ ， ${\lim }_{x\to x_0}h(x)=A$ ，
                那么 ${\lim }_{x\to x_0}f(x)$ 存在，且等于 $A$ 。
        准则2：设函数 $f(x)$ 在点 $x_0$ 的某个左邻域内单调并且有界，则 $f(x)$ 在 $x_0$ 的左极限 $f(x_0^{-})$ 必定存在。

        重要极限1： ${\lim }_{x\to 0}\frac{\sin x}{x}=1$.
        重要极限2： ${\lim }_{x\to \infty }(1+\frac{1}{x}{)}^x=e$.

---

7、无穷小的比较

        定义：
        如果 $\lim \frac{\beta }{\alpha }=0$ ，那么就说 $\beta$ 是比 $\alpha$ 高阶的无穷小，记作 $\beta =o(\alpha )$ ；

        如果 $\lim \frac{\beta }{\alpha }=\infty$ ，那么就说 $\beta$ 是比 $\alpha$ 低阶的无穷小；

        如果 $\lim \frac{\beta }{\alpha }=c\ne 0$ ，那么就说 $\beta$ 与 $\alpha$ 是同阶无穷小；

        如果 $\lim \frac{\beta }{{\alpha }^k}=c\ne 0,k>0$ ，那么就说 $\beta$ 是关于 $\alpha$ 的 $k$ 阶无穷小；

        如果 $\lim \frac{\beta }{\alpha }=1$ ，那么就说 $\beta$ 与 $\alpha$ 是等价无穷小，记作 $\alpha \sim \beta$ 。

        定理：
        1） $\beta$ 与 $\alpha$ 是等价无穷小的充分必要条件为 $\beta =\alpha +o(\alpha )$ 。
        2）设 $a\sim \tilde{\alpha }$ ， $\beta \sim \tilde{\beta }$ ，且 $\lim \frac{\tilde{\beta }}{\tilde{\alpha }}$ 存在，则 $\lim \frac{\beta }{\alpha }=\lim \frac{\tilde{\beta }}{\tilde{\alpha }}$ 。

---

8、函数的连续性与间断点

        定义1：设函数 $y=f(x)$ 在点 $x_0$ 的某一邻域内有定义，如果 ${\lim }_{\Delta x\to 0}\Delta y={\lim }_{\Delta x\to 0}[f(x_0+\Delta x)-f(x_0)]=0$ ，那么就称函数 $y=f(x)$ 在点 $x_0$ 连续。

        定义2：如果 ${\lim }_{x\to x_0^{-}}f(x)=f(x_0^{-})$ 存在且等于 $f(x_0)$ ，即 $f(x_0^{-})=f(x_0)$ ，那么就说函数 $f(x)$ 在点 $x_0$ 左连续，如果 ${\lim }_{x\to x_0^{+}}f(x)=f(x_0^{+})$ 存在且等于 $f(x_0)$ ，即 $f(x_0^{+})=f(x_0)$ ，那么就说函数 $f(x)$ 在点 $x_0$ 右连续。

        定义3：函数的间断点，设函数 $f(x)$ 在点 $x_0$ 的某去心邻域内有定义，在此前提下，如果函数 $f(x)$ 有下列三种情形之一：
                （1）在 $x=x_0$ 没有定义；
                （2）虽在 $x=x_0$ 有定义，但 ${\lim }_{x\to x_0}f(x)$ 不存在；
                （3）虽在 $x=x_0$ 有定义，且 ${\lim }_{x\to x_0}f(x)$ 存在，但 ${\lim }_{x\to x_0}f(x)\ne f(x_0)$ ，
        那么称函数 $f(x)$ 在点 $x_0$ 为不连续，而点 $x_0$ 称为函数 $f(x)$ 的不连续点或间断点。

        定义4：如果 $x_0$ 是函数 $f(x)$ 的间断点，但左极限 $f(x_0^{-})$ 及右极限 $f(x_0^{+})$ 都存在，那么 $x_0$ 称为函数 $f(x)$ 的第一类间断点。不是第一类间断点的任何间断点，称为第二类间断点。在第一类间断点中，左、右极限相等者称为可去间断点，不相等者称为跳跃间断点。

---

9、连续函数的运算与初等函数的连续性

        1）设函数 $f(x)$ 和 $g(x)$ 在点 $x_0$ 连续，则它们的和（差） $f\pm g$ 、积 $f\ast g$ 及商 $\frac{f}{g}$ （当 $g(x_0)\ne 0$ 时）都在点 $x_0$ 连续。
        2）如果函数 $y=f(x)$ 在区间 $I_x$ 上单调增加（或单调减少）且连续，那么它的反函数 $x=f^{-1}(y)$ 也在对应的区间 I y = { y ∣ y = f ( x ) , x ∈ I i } I_{y}=\{y|y=f(x),x\in I_{i}\} Iy​={y∣y=f(x),x∈Ii​} 上单调增加（或单调减少）且连续。
        3）设函数 $y=f[g(x)]$ 由函数 $u=g(x)$ 与函数 $y=f(u)$ 复合而成， $\stackrel{o}{U}(x_0)\subset D_{f\circ g}$ 。若 ${\lim }_{x\to x_0}g(x)=u_0$ ，而函数 $y=f(u)$ 在 $u=u_0$ 连续，则 ${\lim }_{x\to x_0}f[g(x)]={\lim }_{u\to u_0}f(u)=f(u_0)$ 。
        4）设函数 $y=f[g(x)]$ 是由函数 $u=g(x)$ 与函数 $y=f(u)$ 复合而成， $U(x_0)\subset D_{f\circ g}$ 。若函数 $u=g(x)$ 在 $x=x_0$ 连续，且 $g(x_0)=u_0$ ，而函数 $y=f(u)$ 在 $u=u_0$ 连续，则复合函数 $y=f[g(x)]$ 在 $x=x_0$ 也连续。
        5）一切初等函数在其定义区间内都是连续的。

---

10、闭区间上连续函数的性质

        1）有界性与最大值最小值定理，在闭区间上连续的函数在该区间上有界且一定能取得它的最大值和最小值。
        2）零点定理，设函数 $f(x)$ 在闭区间 $[a,b]$ 上连续，且 $f(a)$ 与 $f(b)$ 异号（即 $f(a)\ast f(b)<0$ ），则开区间 $(a,b)$ 内至少有一点 $\xi$ ，使 $f(\xi )=0$ 。
        3）介值定理，设函数 $f(x)$ 在闭区间 $[a,b]$ 上连续，且在这区间的端点取不同的函数值 $f(a)=A$ 及 $f(b)=B$ ，则对于 $A$ 与 $B$ 之间的任意一个数 $C$ ，在开区间 $(a,b)$ 内至少有一点 $\xi$ ，使得 $f(\xi )=C$ $(a<\xi <b)$ 。
        4）在闭区间 $[a,b]$ 上连续的函数 $f(x)$ 的值域为闭区间 $[m,M]$ ，其中 $m$ 与 $M$ 依次为 $f(x)$ 在 $[a,b]$ 上的最小值与最大值。