[机器学习][数学基础]高等数学概括

1函数

给定一个数集A，对A施加一个对应的法则/映射f，记做:f(A)，那么 可以得到另外一个数集B，也就是可以认为B=f(A);那么这个关系 就叫做函数关系式，简称函数。三个重要的因素: 定义域A、值域B、 对应的映射法则f。

A	1	3	5	7	9	11	13
B	2	4	6	8	10	12	14

映射的数学公式为：
$$B=f(A)=A+1$$

1.1常见函数

常函数: $y=C$
一次函数: $y=ax+b$
二次函数: $y=a{x}^2+bx+c$
幂函数: $y=x^a$
指数函数: $y=a^x$，a的取值范围为:a>0&a!=1
对数函数: $y=lo{g}_a(x)$, a的取值范围为: a>0&a!=1

1.2反函数

若函数 $f:D->f(D)$ ,它存在逆映射 $f^{-}1:f(D)->D$，则此映射 $f^{-}1$ 称为函数 $f$的反函数.

1.2.3反函数的性质

(1) 函数 $f(x)$ 与其反函数 $f^{-1}(x)$关于直线 $y=x$对称.
(2)若 $f(x)$ 是定义在 $D$ 上的单调函数，则与其反函数$f^{-1}(x)$存在，且 $f^{-1}(x)$也是单调函数，且单调性相同。

1.3复合函数

设函数 $y=f(u)$的定义域为$D1$ , 函数 $u=g(x)$在 $D$上有定义，且 $g(D)\in D1$，则函数 $y=f[g(x)]$,$\forall x\in D$称为由函数 $u=g(x)$ 和函数 $y=f(u)$ 构成的复 合函数，其定义域为$D$，变量 $u$ 称为中间变量. 函数 $f$和 $g$ 构成的复合函 数通常记为 $f◦g$，即 $(f◦g)(x)=f[g(x)]$.

1.4基本初等函数

1.4.1幂函数(Power Function)

幂函数的定义域随a而异，但不论 a 为何值, 它在(0, +$\infty$)内总有定义。幂函 数图形都经过 (1, 1)点。
$y=x^a$

1.4.2指数函数(Exponential Function)

$y=a^x$(a>0,a!=1)
定义域为$(-\infty ,+\infty )$，值域为(0, +∞)，都通过(0, 1)点。 当a>1时，函数单调增加; 当0<a<1时，函数单调减少。

1.4.3对数函数(Logarithmic Function)

$y=lo{g}_a^x$(a>0,a!=1)
对数函数是指数函数y=ax的反函数, 定义域为 (0,+∞),图形通过(1, 0)点。 当 a>1 时, 函数单调增 加;当 0<a<1时, 函数单 调减少。

1.4.4三角函数(Trigonometric Function)

$y=sinx$与$y=cosx$的定义域均为(-∞,+∞)，均以$2\pi$为周期。$y=sinx$为奇函数，$y=cosx$为偶函数。他们都是有界函数

2极限

数列极限的定义：设 { x n } \{x_n\} {xn​}为一数列.若有常数a，定的正数ε(无论它有多小)， 总存在正整数 N， 使当 n > N 时，不等式 $|x_n-a|$ < ε 恒成立, 则称 a 是 数列 { x n } \{x_n\} {xn​}的极限或称 { x n } \{x_n\} {xn​}收敛于a, 记为:
$$\underset{n\to \infty }{\lim }{x}_n=a或者x_n\to a(n\to \infty )$$
若这样的 a 不存在，则称数列 { x n } \{ x_n\} {xn​}无极限或 { x n } \{ x_n \} {xn​}发散或 不存在。
$$\underset{n\to \infty }{\lim }{x}_n=a⟺\forall \epsilon >0,\exists 正整数N，当n>N时，|x_n-a|<\epsilon$$
说明:
(1) $\epsilon$ 是任意的，这样才能表示无限接近。
(2) N 是相应于$\epsilon$的，只要 $N$ 存在，而不必找其最小值。

2.1证明极限

a. 分析过程:
从最后的结论不等式 $|x_n-a|<\epsilon$出发，

• i. 解出$n$应大于怎样的数， 对此数取整即得 $N$.
• ii. 解不出$n$ ，必须对结论不等式进行适当的放大，
  使放大后的不等式能解出$n$.

b. 证明过程:
取定上述 N ，将分析过程逆推.

2.2例子

2.2.1例1

题：已知$x_n=\frac{n+(-1{)}^n}{n}$，证明数列 { x n } \{x_n\} {xn​}的极限为1.
证：
$$|x_n-1|=|\frac{n+(-1{)}^n}{n}-1|=\frac{1}{n}$$
$$\forall \epsilon >0，预使|x_n-1|<\epsilon ，即\frac{1}{n}<\epsilon ，只要n>\frac{1}{\epsilon }.因此，取N=[\frac{1}{\epsilon }]，则当n>N时，就有|\frac{n+(-1{)}^n}{n}-1|<\epsilon$$
故
$$\underset{n\to \infty }{\lim }{x}_n=\underset{n\to \infty }{\lim }\frac{n+(-1{)}^n}{n}=1$$

2.2.2例2

题：证明
$$\underset{n\to \infty }{\lim }\frac{cos\frac{n\pi }{2}}{n}=0$$
分析：
$$|x_n-0|=\frac{|cos\frac{n\pi }{2}|}{n}，\forall \epsilon >0，为了使|x_n-0|<\epsilon ，只需\frac{|cos\frac{n\pi }{2}|}{n}<\epsilon ，n无法解出！$$
注意到：
$$\frac{|cos\frac{n\pi }{2}|}{n}<=\frac{1}{n}，故只需要\frac{1}{n}<\epsilon 即n>\frac{1}{\epsilon }$$
证：
$$\forall \epsilon >0，取N=[\frac{1}{\epsilon }]，则当n>N时，就有|x_n-0|=\frac{cos\frac{n\pi }{2}}{n}<=\frac{1}{n}<\epsilon$$
$$从而\underset{n\to \infty }{\lim }\frac{cos\frac{n\pi }{2}}{n}=0$$

2.2.3例3

题：证明
$$\underset{n\to \infty }{\lim }\frac{(-1{)}^n}{(n+1{)}^2}=0$$
分析：
$$|x_n-0|=\frac{1}{(n+1{)}^2}，\forall \epsilon >0，为了使|x_n-0|<\epsilon ，只需要\frac{1}{(n+1{)}^2}<\epsilon ，即(n+1{)}^2>\frac{1}{\epsilon },即n>\frac{1}{\sqrt{\epsilon }}-1$$
证：
$$\forall \epsilon >0(设\epsilon <1)，取N=[\frac{1}{\sqrt{\epsilon }}-1]，则放n>N时就有|\frac{(-1{)}^n}{(n+1{)}^2}-0|<\epsilon ，即\underset{n\to \infty }{\lim }\frac{(-1{)}^n}{(n+1{)}^2}=0$$

2.3收敛数列的性质

定理1. 若数列 { x n } \{ x_n \} {xn​}收敛，则它的极限唯一.
定理2. 若数列 { x n } \{x_n \} {xn​}收敛，则数列 { x n } \{x_n \} {xn​}一定有界.
定理3. 收敛数列的保号性

2.3.1自变量$x\to x_0$时函数的极限定义

设函数 $f(x)$ 在点 $x_0$ 的某一去心邻域内有定义。如果存在常数 $A$ ，对任意给定的正数$\epsilon$(无论它有多小)，总存在正数 $\delta$ ，使得当 $x$ 满足 $0<|x-x_0|<\delta$时，对应的函数值都有$|f(x)-A|<\epsilon$，则称A为函数f(x)当$x\to x_0$ 时 的极限, 记作:
$$\underset{x\to x_0}{\lim }f(x)=A或f(x)\to A(x\to x_0)$$
几何解释：

2.3.2例子1

题：证明
$$\underset{x\to 1}{\lim }\frac{2(x^2-1)}{x-1}=4$$
分析：
$$|f(x)-A|=|\frac{2(x^2-1)}{x-1}-4|=|2(x+1)-4|=2|x-1|<\epsilon$$
证：
$$\forall \epsilon >0，取\delta =\frac{\epsilon }{2}，当0<|x-1|<\delta 时，必有|\frac{2(x^2-1)}{x-1}-4|，必有|\frac{2(x^2-1)}{x-1}-4|<\epsilon ，因此\underset{x\to 1}{\lim }\frac{2(x^2-1)}{x-1}=4$$

2.3.3例子2

试证明函数
$$f(x)=\{\begin{array}{r}{e}^x,x<1\\ 0,x=1\\ x+1,x>1\end{array}$$
当$x\to 1$时极限不存在。
证明：
从右图易见，
$$\begin{gathered} \underset{x\to 1^{-}}{\lim }f(x)=\underset{x\to 1^{-}}{\lim }{e}^x=e \\ \underset{x\to 1^{+}}{\lim }f(x)=\underset{x\to 1^{+}}{\lim }(x+1)=2 \end{gathered}$$
显然$e\ne 2$从而
$$\underset{x\to 1^{-}}{\lim }f(x)\ne \underset{x\to 1^{+}}{\lim }f(x)$$
故极限不存在

2.3.4自变量 $x\to \infty$ 时函数的极限定义

设函数 $f(x)$ 在当$|x|$ 大于某一正数时有定义。如果存在常数 $A$ ，对任意 给定的正数 $\epsilon$(无论它有多小)，总存在正数 $X$ ，使得当 $x$ 满足$|x|>X$ 时，对应的函数值都有$|f(x)-A|<\epsilon$，则称$A$为函数$f(x)$当$x\to \infty$时的极限, 记作
$$\underset{x\to x_0}{\lim }f(x)=A或f(x)\to A(x\to x_0)$$

2.3.5例子3

题：
证明
$$\underset{n\to \infty }{\lim }\frac{1}{x}=0$$
分析：
$$欲使|\frac{1}{x}-0|=\frac{1}{|x|}<\epsilon ，即|x|>\frac{1}{\epsilon }$$
证：
$$\forall \epsilon >0，取x=\frac{1}{\epsilon }，则当|x|>X时，就有|\frac{1}{x}-0|<\epsilon ，因此\underset{n\to \infty }{\lim }\frac{1}{x}=0$$

2.4函数极限的性质

定理 1(函数极限唯一性)

• 如果${\lim }_{x\to x_0}f(x)$存在，则极限唯一

定理 2(函数极限的局部有界性)

• 若${\lim }_{x\to x_0}f(x)=A$，则存在常数M>0和$\delta >0$，使得当$0<|x-x_0|<\delta$时，有$|f(x)|\le M$

定理 3 (函数极限的局部保号性)

• 若${\lim }_{x\to x_0}f(x)=A$，而且$A>0(A<0)$，那么存在常数$\delta >0$，使得当$0<|x-x_0|<\delta$，有$f(x)>0(f(x)<0)$

2.5极限存在两个准则

准则I (两边夹):若数列 { x n } , { y n } 和 { z n } \{ x_n \}, \{ y_n \} 和 \{ z_n \} {xn​},{yn​}和{zn​} 满足下列条件:

• $\exists n_0\in N，当n>n_0时，y_n\le x_n\le z_n$
• ${\lim }_{n\to \infty }{y}_n=a，{\lim }_{n\to \infty }{z}_n=a$

准则II :单调有界数列必有极限。
注意：
$$\begin{gathered} \underset{x\to 0}{\lim }\frac{\sin x}{x}=1 \\ \underset{x\to \infty }{\lim }(1+\frac{1}{x}{)}^x=e或者\underset{x\to 0}{\lim }(1+x{)}^{\frac{1}{x}}=e \end{gathered}$$

2.5.1例子1

题：求
$$\underset{x\to \infty }{\lim }(1+\frac{1}{2x}{)}^x$$
解:
$$\underset{x\to \infty }{\lim }(1+\frac{1}{2x}{)}^x=\underset{x\to \infty }{\lim }[(1+\frac{1}{2x}{)}^{2x}{]}^{\frac{1}{2}}=e^{\frac{1}{2}}$$

3导数

定义：设函数$y=f(x)$在点$x_0$的某邻域内有定义，若
$$\begin{gathered} \underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}=\underset{\Delta x\to 0}{\lim }\frac{\Delta y}{\Delta x} \\ \Delta y=f(x)-f(x_0) \\ \Delta x=x-x_0 \end{gathered}$$
存在, 则称函数$f(x)$在点$x_0$处可导，并称此极限为$y=f(x)$在点$x_0$的导数。记做：
$$\begin{gathered} y^{\prime }{|}_{x=x_0};f^{\prime }(x_0);\frac{dy}{dx}{|}_{x=x_0};\frac{df(x)}{dx}{|}_{x=x_0}即 \\ {y}^{\prime }|x=x_0=f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{\Delta y}{\Delta x} \\ =\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x} \end{gathered}$$

3.1常数和基本初等函数的导数公式

$$\begin{gathered} (C{)}^{\prime }=0, \\ (x^{\mu }{)}^{\prime }=\mu x^{\mu -1}, \\ (\sin x{)}^{\prime }=\cos x, \\ (\cos x{)}^{\prime }=-\sin x, \\ (\tan x{)}^{\prime }={\sec }^{2}x, \\ (\cot x{)}^{\prime }=-{\csc }^{2}x, \\ (\sec x{)}^{\prime }=\sec x\tan x, \\ (\csc x{)}^{\prime }=-\csc x\cot x, \\ (a^x{)}^{\prime }=a^x\ln a, \\ (e^x{)}^{\prime }=e^x, \\ ({\log }_{a}x{)}^{\prime }=\frac{1}{x{\ln }_a}, \\ (\ln x{)}^{\prime }=\frac{1}{x}, \\ (\arcsin x{)}^{\prime }=\frac{1}{\sqrt{1-x^2}}, \\ (\arccos x{)}^{\prime }=-\frac{1}{\sqrt{1-x^2}}, \\ (\arctan x{)}^{\prime }=\frac{1}{1+x^2}, \\ (arccotx{)}^{\prime }=-\frac{1}{1+x^2}, \end{gathered}$$

3.2函数的和、差、积、商的求导法则

设 $u=u(x),v=v(x)$都可导,则

• $(u\pm v{)}^{\prime }=u^{\prime }\pm v^{\prime }$
• $(Cu{)}^{\prime }=C{u}^{\prime }$（C是常数）
• $(uv{)}^{\prime }=u^{\prime }v\pm u{v}^{\prime }$
• $(\frac{u}{v}{)}^{\prime }=\frac{u^{\prime }v-u{v}^{\prime }}{v^2}(v\ne 0)$

3.3反函数的求导法则

如果函数$x=f(y)$在区间$I_y$内单调、可导且$f^{\prime }(y)\ne 0$，则他的反函数$y=f^{-1}(x)$在区间$I_x=x|x=f(y),y\in I_y$内也可导，且有$[f^{-1}(x){]}^{\prime }=\frac{1}{f^{\prime }(y)}$或者$\frac{dy}{dx}=\frac{1}{\frac{dx}{dy}}$

3.4复合函数求导法则

设$y=f(u),u=\phi (x)$，则复合函数$y=f[\phi (x)]$的倒数为：
$\frac{dy}{dx}=\frac{dy}{du}\ast \frac{du}{dx}=f^{\prime }(u)\ast {\phi }^{\prime }(x)$

3.5导数的应用1:函数单调性

通过函数的导数的值，可以判断出函数的单调性、驻点以及极值点: 若导数大于0，则单调递增;若导数小于0，则单调递减;导数等于零d的点为函数驻点。
如果函数的导函数在某一个区间内恒大于零(或恒小于零)，那么函数
在这一个区间单调递增(或单调递减)，这种区间就叫做单调区间。
函数的驻点和不可导点处函数有可能取得极大值或者极小值(即极值可疑点);对于极值点的判断需要判断驻点附近的导函数的值符号，如果存在使得之前区间上导函数值都大于零，而之后的区间上都小于零，那么这个 点就是一个极大值点，反之则是一个极小值点。

3.5.1曲线的凹凸性

定义函数$f(x)$在区间I上连续,$\forall x_1,x_2\in I$，
(1)若恒有
$$f(\frac{x_1+x_2}{2})<\frac{f(x_1)+f(x_2)}{2}$$
则称$f(x)$的图形是凹的。
(2)若恒有
$$f(\frac{x_1+x_2}{2})>\frac{f(x_1)+f(x_2)}{2}$$
则称$f(x)$的图形是凸的。
连续曲线上凹弧和凸弧的分界点称为曲线的拐点
定理(凹凸判定法)
设函数$f(x)$在区间$I$上有二阶导数
(1)在$I$内$f^{\prime \prime }(x)>0$，则$f(x)$在$I$内图形是凹的；
(2)在$I$内$f^{\prime \prime }(x)<0$，则$f(x)$在$I$内图形是凸的。

3.6导数的应用2：函数的极值与最值

3.6.1函数的极值及其求法

1.定义设函数 $f(x)$在$x$ 的某个邻域$U(x_0,\delta )$有定义, 且当 $x\in U(x_0,\delta )$时,恒有 $f(x)<f(x_0)$,则称$f(x_0)$
为 $f(x)$的一个极大值;如果当$x\in U(x_0,\delta )$时,恒有$f(x)>f(x_0)$,则称$f(x_0)为f(x)$的一个极小值.
2.函数的极大值与极小值统称为极值,使函数取得极值的点称为极值点.
3.若 $f(x)$在极值点$x_0$ 处可导，则 $f^{\prime }(x_0)=0$.
4.导数等于零的点称为驻点.
5.对可导函数来讲,极值点必为驻点,

3.6.2求极值的步骤

(1) 确定函数的定义域; (2)求导数 $f^{\prime }(x)$;
(3) 求定义域内部的极值嫌疑点(即驻点或一阶导数不存在的点);
(4) 用极值的判定第一或第二充分条件.注意第二充分条件只能 判定驻点的情形.

3.6.3 函数的最大值、最小值问题

极值是局部性的,而最值是全局性的.
若函数 $f(x)$在 $[a,b]$上连续，则 $f(x)$在 $[a,b]$ 上的最大值与最小值存在 .

3.6.3.1具体求法

(1) 求出定义域内部的极值嫌疑点(驻点和不可导点) $x_1,...,x_k,$并算出函数值 $f(x_i)(i=1,2,....,k)$;
(2) 求出端点的函数值 $f(a),f(b)$ ;
(3) 最大值 M = m a x { f ( x 1 ) , . . . . , f ( x k ) , f ( a ) , f ( b ) } M=max\{f(x_1),....,f(x_k),f(a),f(b)\} M=max{f(x1​),....,f(xk​),f(a),f(b)}
最小值 m = m i n { f ( x 1 ) , . . . . , f ( x k ) , f ( a ) , f ( b ) } m=min\{f(x_1),....,f(x_k),f(a),f(b)\} m=min{f(x1​),....,f(xk​),f(a),f(b)}.

3.7导数应用3:Taylor公式

Taylor(泰勒)公式是用一个函数在某点的信息描述其附近取值的公式。 如果函数足够平滑，在已知函数在某一点的各阶导数值的情况下， Taylor公式可以利用这些导数值来做系数构建一个多项式近似函数在这 一点的邻域中的值。

若函数$f(x)$在包含$x_0$的某个闭区间$[a,b]$上具有$n$阶函数，且在开区间$(a,b)$ 上具有$n+1$阶函数，则对闭区间$[a,b]$上任意一点$x$，有Taylor公式如下: $(f^{(n)}(x)$表示$f(x)$的$n$阶导数，$R_n(x)$是Taylor公式的余项，是$(x-x_0{)}^n$的高阶无 穷小)

Taylor公式：
$$f(x)=\frac{f(x_0)}{0!}+\frac{f^{\prime }(x_0)}{1!}(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2!}(x-x_0{)}^2+....+\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n+R_n(x)$$
麦克劳林公式:
$$f(x)=\frac{f(0)}{0!}+\frac{f^{\prime }(0)}{1!}x+\frac{f^{\prime \prime }(0)}{2!}{x}^2+...+\frac{f^{(n)}(0)}{n!}{x}^n+R_n(x)$$
$$\begin{gathered} 0!=1 \\ 1!=1 \\ n!=n\ast (n-1)! \end{gathered}$$
Taylor公式-余项:
$$f(x)={\Sigma }_{k=0}^n\frac{f^{(k)}(x_0)}{k!}(x-x_0{)}^k+R_n(x)$$
佩亚诺(Peano)余项:
$$R_n(x)=o[(x-x_0{)}^n]$$
拉格朗日余项：
$$R_n(x)=f^{(n+1)}[x_0+\theta (x-x_0)]\frac{(x-x_0{)}^{n+1}}{(x+1)!}$$

3.7.1几个常见的初等函数的带有佩亚诺余项的麦克劳林公式

$$\begin{gathered} e^x=1+x+\frac{1}{2!}{x}^2+.....+\frac{1}{n!}{x}^n+o(x^n) \\ \sin x=x-\frac{1}{3!}{x}^3+.....+\frac{(-1{)}^{m-1}}{(2m-1)!}+o(x^{2m-1}) \\ \cos x=1-\frac{1}{2!}{x}^2+\frac{1}{4!}{x}^4-....+\frac{(-1{)}^m}{(2m)!}{x}^{2m}+o(x^{2m}) \\ \ln (1+x)=x-\frac{1}{2}{x}^2+\frac{1}{3}{x}^3-.....+\frac{(-1{)}^{n-1}}{n}{x}^n+o(x^n) \\ \frac{1}{1-x}=1+x+x^2+...+x^n+o(x^n) \\ (1+x{)}^m=1+mx+\frac{m(m-1)}{2!}{x}^2+....+\frac{m(m-1)....(m-n+1)}{n!}{x}^n+o(x^n) \end{gathered}$$

3.7.2Taylor公式应用1

展开三角函数$y=sin(x)$(使用麦克劳林公式进行展开操作)
$$f^{(n)}(x)=\sin (x+\frac{n\pi }{2})$$
$$\sin x=x-\frac{1}{3!}{x}^3+.....+\frac{(-1{)}^{m-1}}{(2m-1)!}+R_{2m-1}(x)$$

3.7.3Taylor公式应用2

计算近似值
$$e=\underset{x\to \infty }{\lim }(1+\frac{1}{n}{)}^n$$
并估计误差值
$$e^x\approx {\Sigma }_{k=0}^n\frac{e^{x_0}}{k!}{\Rightarrow }^{令x_0=0}{e}^x\approx 1+x+\frac{1}{2!}{x}^2+.....+\frac{1}{n!}{x}^n{\Rightarrow }^{令x=1}e\approx 1+1+\frac{1}{2!}+...+\frac{1}{n!}{\approx }^{令n=10}e\approx 2.7182815$$

4多元函数的极限

4.1二元函数的定义

设$D$是平面上的一个点集，如果对于每个点 $P(x,y)\in D$，变量$z$按照一定的法则总有确定的值 和它对应，则称 $z$是变量$ x, y$的二元函数，记为
$z=f(x,y)(或记为z=f(P))$
定义:二阶及二阶以上的偏导数统称为高阶偏导数.