深度学习需要掌握的数学知识①【高等数学】

预备知识

1.集合的相关概念

集合是指具有某种特定性质的事物的总体，组成集合的事物称为集合的元素。

N表示自然数构成的集合，称为自然数集。 N = { 0 , 1 , 2 , … , n , …   } N=\{ 0,1,2,\dots,n,\dots \} N={0,1,2,…,n,…}.

$N^{+}$表示正整数集。 N + = { 1 , 2 , … , } N^{+}=\{ 1,2,\dots, \} N+={1,2,…,}.

在表示数集的字母右上方标"+"表示该数集内排除0与负数的集。

R表示全体实数构成的集合，称为实数集。

Z表示全体整数构成的集合，称为整数集。

Q表示全体有理数构成的集合，称为有理数集。 Q = { p q , p ∈ Z , q ∈ N + 且 p 与 q 互质 } Q=\{\frac{p}{q},p\in Z,q\in N^{+}且p与q互质 \} Q={qp​,p∈Z,q∈N+且p与q互质}.

邻域： U ( x 0 , δ ) = { x ∣    ∣ x − x 0 ∣ < δ , δ > 0 } U(x_0,\delta)=\{ x|\;|x-x_0|<\delta,\delta>0 \} U(x0​,δ)={x∣∣x−x0​∣<δ,δ>0}.

去心邻域： U 。 = { x ∣    0 < ∣ x − x 0 ∣ < δ , δ > 0 } U^{。}=\{ x|\;0<|x-x_0|<\delta,\delta>0 \} U。={x∣0<∣x−x0​∣<δ,δ>0}.

2.常见不等式

• 绝对值不等式 $-|x|\le x\le |x|,0\le x+|x|\le 2|x|,\forall x\in R$.
• 三角不等式 $|x+y|\le |x|+|y|,||x|-|y||\le |x-y|,\forall x,y\in R$.
• 平均值不等式 $x^2+y^2\ge 2xy,\forall x,y\in R$，特别地当$x,y\ge 时，\frac{x+y}{2}\ge \sqrt{xy}$.
• $sinx\le x\le tanx,x\in [0,\frac{\pi }{2})$，等号仅在$x=0$时成立。

3.基本初等函数

• 常数函数 $y=C$，C为常数；

• 幂函数 $y=x^a,a\in R$；

• 指数函数 $y=a^x,(a>0,a\ne 1)$；

• 对数函数 $y={\log }_{a}x,(a>0,a\ne 1)$;

• 三角函数
  
  $$\begin{gathered} 正弦sinA=\frac{a}{c}余弦cosA=\frac{b}{c}正切tanA=\frac{a}{b} \\ 余切cotA=\frac{b}{a}正割secA=\frac{c}{b}余割cscA=\frac{c}{a} \\ 其中cotA=\frac{1}{tanA}secA=\frac{1}{cosA}cscA=\frac{1}{sinA} \end{gathered}$$

• 反三角函数

$$\begin{gathered} arcsinx+arccosx=\frac{\pi }{2}arctanx+arccotx=\frac{\pi }{2} \\ sin(arcsinx)=x,x\in [-1,1]arcsin(sinx)=x,x\in [-\frac{\pi }{2},\frac{\pi }{2}] \end{gathered}$$

4.极坐标（与直角坐标系之间的互相转化）

​ 在平面上取定一个极坐标系，以极轴作为直角坐标系的$x$轴的正半轴，以$\theta =\frac{\pi }{2}$的射线做$y$轴的正半轴，以极点为坐标原点建立直角坐标系。

$$\begin{gathered} 直角坐标方程极坐标方程 \\ x=a\rho =\frac{a}{cos\theta } \\ y=a\rho =\frac{a}{sin\theta } \\ {x}^2+y^2=r^2\rho =r \\ {x}^2+y^2-2rx=0\rho =2rcos\theta \\ {x}^2+y^2-2ry=0\rho =2rsin\theta \end{gathered}$$

极限与连续

1.函数的几种特性

• 有界性

  ①“函数$f(x)$在闭区间$[a,b]$上连续，则在闭区间上有界”；

  ②“函数$f(x)$在开区间$(a,b)$上连续，且$\underset{x\to a^{+}}{\lim }f(x)$和$\underset{x\to b^{-}}{\lim }f(x)$都存在，则在开区间上有界”；

  ③“函数$f(x)$在有限区间I上可导且导函数有界，则函数在该区间上有界”。

• 单调性 “若函数$f(x)$在某区间上有定义，对于区间上任意两点$x_1<x_2$恒有$f(x_1)<f(x2)$则称$f(x)$在该区间上单调增加；若恒有$f(x_1)\ge f(x_2)$，成$f(x)$在该区间上单调不增”。

• 奇偶性

• 周期性

2.极限

• 数列的极限 “如果对于任意给定的$ϵ>0$，总存在正整数N，当$n>N$时，恒有$|x_n-a|<ϵ$成立，则称常数a为数列 { x n } \{x_n\} {xn​}当n趋近于无穷时的极限，记为$\underset{n\to \infty }{\lim }{x}_n=a$”。
• 函数的极限 “如果对于任意给定的$ϵ>0$，总存在$X>0$，当$|x|>X$时，恒有$|f(x)-A|<ϵ$成立，则称常数A为函数$f(x)$当x趋近于无穷时的极限，记为$\underset{x\to \infty }{\lim }f(x)=A$”；“如果对于任意给定的$ϵ>0$，总存在$\delta >0$，当$0<|x-x_0|<\delta$时，恒有$|f(x)-A|<ϵ$成立，则称常数A为函数$f(x)$当x趋近于$x_0$的极限，记为$\underset{x\to x_0}{\lim }f(x)=A$”。

极限的几种特性

• 有界性 “数列收敛$\Rightarrow$有界；无界数列必发散，但发散不一定无界；若${\lim }_{x\to x_0}f(x)$存在，则$f(x)$在$x_0$某去心邻域有界（局部有界）”

• 保号性

极限存在判定

• 夹逼准则
• 单调有界准则

无穷大与无穷小

有限个无穷小的和（积）仍为无穷小

​ 当$x\to +\infty$时，${\ln }^{\alpha }x<<x^{\beta }<<a^x$，其中$\alpha >0,\beta >0,a>1$。

两个重要极限

$$\underset{x\to 0}{\lim }\frac{sinx}{x}=1\underset{x\to \infty }{\lim }(1+\frac{1}{x}{)}^x=e$$

一元函数微积分学

1.导数

倒数定义

$f^{\prime }(x_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$

或者：

$f^{\prime }(x_0)=\underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}$。

导数的几何意义

​ “$f(x)$在$x=x_0$处的导数$f^{{}^{\prime }}(x_0)$是曲线$y=f(x)$在点$(x_0,f(x_0))$处的切线斜率”；

​ “$y=f(x)$在$x=x_0$处可导$\iff f(x)$在$x=x_0$处可微”。

左右导数导数

左导数：${f^{\prime }}_{-}(x_0)=\underset{\Delta x\to 0^{-}}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}=\underset{x\to x_0^{-}}{\lim }\frac{f(x)-f(x_0)}{x-x_0},(x=x_0+\Delta x)$

右导数：${f^{\prime }}_{+}(x_0)=\underset{\Delta x\to 0^{+}}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}=\underset{x\to x_0^{+}}{\lim }\frac{f(x)-f(x_0)}{x-x_0}$

“若函数在点$x_0$处可导，则$y=f(x)$在点$x_0$处连续，反之则不成立。即函数连续不一定可导，但可导必连续。”

$f^{\prime }(x_0)$存在$\iff {f^{\prime }}_{-}(x_0)={f^{\prime }}_{+}(x_0)$。

求导（微分）运算法则

设函数$u=u(x)，v=v(x)$在点$x$可导则

(1) $(u\pm v{)}^{\prime }=u^{\prime }\pm v^{\prime }$ $d(u\pm v)=du\pm dv$

(2)$(uv{)}^{\prime }=u{v}^{\prime }+v{u}^{\prime }$ $d(uv)=udv+vdu$

(3) $(\frac{u}{v}{)}^{\prime }=\frac{v{u}^{\prime }-u{v}^{\prime }}{v^2}(v\ne 0)$ $d(\frac{u}{v})=\frac{vdu-udv}{v^2}$

(4)链式法则：设$y=f(u),u=\varphi (x)$则有 $\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}$

基本导数与微分表

(1) $y=c$（常数） $y^{\prime }=0$ $dy=0$

(2) $y=x^{\alpha }$($\alpha$为实数) $y^{\prime }=\alpha x^{\alpha -1}$ $dy=\alpha x^{\alpha -1}dx$

(3) $y=a^x$ $y^{\prime }=a^x\ln a$ $dy=a^x\ln adx$
特例: $(e^x{)}^{\prime }=e^x$ $d(e^x)=e^{x}dx$

(4) $y={\log }_{a}x$ $y^{\prime }=\frac{1}{x\ln a}$

$dy=\frac{1}{x\ln a}dx$
特例:$y=\ln x$ $(\ln x{)}^{\prime }=\frac{1}{x}$ $d(\ln x)=\frac{1}{x}dx$

(5) $y=\sin x$ $y^{\prime }=\cos x$ $d(\sin x)=\cos xdx$

(6) $y=\cos x$ $y^{\prime }=-\sin x$ $d(\cos x)=-\sin xdx$

(7) $y=\tan x$ $y^{\prime }=\frac{1}{{\cos }^{2}x}={\sec }^{2}x$ $d(\tan x)={\sec }^{2}xdx$

(8) $y=\cot x$ $y^{\prime }=-\frac{1}{{\sin }^{2}x}=-{\csc }^{2}x$ $d(\cot x)=-{\csc }^{2}xdx$

(9) $y=\sec x$ $y^{\prime }=\sec x\tan x$ $d(\sec x)=\sec x\tan xdx$

(10) $y=\csc x$ $y^{\prime }=-\csc x\cot x$ $d(\csc x)=-\csc x\cot xdx$

(11) $y=\arcsin x$ $y^{\prime }=\frac{1}{\sqrt{1-x^2}}$ $d(\arcsin x)=\frac{1}{\sqrt{1-x^2}}dx$
(12) $y=\arccos x$ $y^{\prime }=-\frac{1}{\sqrt{1-x^2}}$ $d(\arccos x)=-\frac{1}{\sqrt{1-x^2}}dx$

(13) $y=\arctan x$ $y^{\prime }=\frac{1}{1+x^2}$ $d(\arctan x)=\frac{1}{1+x^2}dx$

(14) $y=\mathrm{arc}\cot x$ $y^{\prime }=-\frac{1}{1+x^2}$ $d(\mathrm{arc}\cot x)=-\frac{1}{1+x^2}dx$

复合、反、隐函数以及参数方程的微分

(1) 反函数的运算法则: 设$y=f(x)$在点$x$的某邻域内单调连续，在点$x$处可导且$f^{\prime }(x)\ne 0$，则其反函数在点$x$所对应的$y$处可导，并且有$\frac{dy}{dx}=\frac{1}{\frac{dx}{dy}}$

(2) 复合函数的运算法则:若 $\mu =\phi (x)$ 在点$x$可导,而$y=f(\mu )$在对应点$\mu$($\mu =\phi (x)$)可导,则复合函数$y=f(\phi (x))$在点$x$可导,且$y^{\prime }=f^{\prime }(\mu )\cdot {\phi }^{\prime }(x)$

(3) 隐函数导数$\frac{dy}{dx}$的求法一般有三种方法：

1)方程两边对$x$求导，要记住$y$是$x$的函数，则$y$的函数是$x$的复合函数.例如$\frac{1}{y}$，$y^2$，$lny$，$e^y$等均是$x$的复合函数.
对$x$求导应按复合函数链式法则做.

2)公式法.由$F(x,y)=0$知 $\frac{dy}{dx}=-\frac{{F^{\prime }}_x(x,y)}{{F^{\prime }}_y(x,y)}$,其中，${F^{\prime }}_x(x,y)$，
${F^{\prime }}_y(x,y)$分别表示$F(x,y)$对$x$和$y$的偏导数

3)利用微分形式不变性

常用高阶导数公式

（1）$(a^x){}^{(n)}=a^x{\ln }^{n}a(a>0)(e^x){}^{(n)}=e{}^x$

（2）$(\sin kx){}^{(n)}=k^n\sin (kx+n\cdot \frac{\pi }{2})$

（3）$(\cos kx){}^{(n)}=k^n\cos (kx+n\cdot \frac{\pi }{2})$

（4）$(x^m){}^{(n)}=m(m-1)\cdots (m-n+1)x^{m-n}$

（5）$(\ln x){}^{(n)}={(-1)}^{(n-1)}\frac{(n-1)!}{x^n}$

（6）莱布尼兹公式：若$u(x),v(x)$均$n$阶可导，则
${(uv)}^{(n)}=\sum _{i=0}^n{c}_n^i{u}^{(i)}{v}^{(n-i)}$，其中$u^{(0)}=u$，$v^{(0)}=v$.

2.导数的应用

• 极值点
• 单调性的判定
• 曲线的凹凸性和拐点
• 曲线渐近线（水平、铅直和斜）
• 曲率、曲率圆与曲率半径 “$k=\frac{|y^{"}|}{(1+y^{{}^{\prime }2}{)}^{3/2}}$，$R=\frac{1}{k}$”

3.中值定理

Th1:(费马定理)

​ 若函数$f(x)$在$x_0$的某邻域内有定义，并且在此邻域内恒有$f(x)\le f(x_0)$或$f(x)\ge f(x_0)$，又设 $f(x)$在$x_0$处可导，则有 $f^{\prime }(x_0)=0$。

Th2:(罗尔定理)

设函数$f(x)$满足条件：

• 在闭区间$[a,b]$上连续，在$(a,b)$内可导；
• $f(a)=f(b)$；

则在$(a,b)$内一存在个$\xi$，使 $f^{\prime }(\xi )=0$

Th3: (拉格朗日中值定理)

设函数$f(x)$满足条件：

• 在$[a,b]$上连续，在$(a,b)$内可导；

则在$(a,b)$内一存在个$\xi$，使 $\frac{f(b)-f(a)}{b-a}=f^{\prime }(\xi )$

Th4: (柯西中值定理)

设函数$f(x)$，$g(x)$满足条件：

• 在$[a,b]$上连续，在$(a,b)$内可导
• $f^{\prime }(x)$，$g^{\prime }(x)$均存在，且$g^{\prime }(x)\ne 0$

则在$(a,b)$内存在一个$\xi$，使 $\frac{f(b)-f(a)}{g(b)-g(a)}=\frac{f^{\prime }(\xi )}{g^{\prime }(\xi )}$。

应用

• 不等式的证明
• 零点问题

4.泰勒公式

​ 设函数$f(x)$在点$x_0$处的某邻域内具有$n+1$阶导数，则对该邻域内异于$x_0$的任意点$x$，在$x_0$与$x$之间至少存在一个$\xi$，使得：
$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{1}{2!}{f}^{\prime \prime }(x_0){(x-x_0)}^2+\cdots$ $+\frac{f^{(n)}(x_0)}{n!}{(x-x_0)}^n+R_n(x)$
其中 $R_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}{(x-x_0)}^{n+1}$称为$f(x)$在点$x_0$处的$n$阶拉格朗日余项。

令$x_0=0$，则$n$阶泰勒公式
$f(x)=f(0)+f^{\prime }(0)x+\frac{1}{2!}{f}^{\prime \prime }(0)x^2+\cdots +\frac{f^{(n)}(0)}{n!}{x}^n+R_n(x)$
其中 $R_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}{x}^{n+1}$，$\xi$在0与$x$之间，上式称为麦克劳林公式

常用五种函数在$x_0=0$处的泰勒公式

(1) $e^x=1+x+\frac{1}{2!}{x}^2+\cdots +\frac{1}{n!}{x}^n+\frac{x^{n+1}}{(n+1)!}{e}^{\xi }$

或 $=1+x+\frac{1}{2!}{x}^2+\cdots +\frac{1}{n!}{x}^n+o(x^n)$（佩亚诺余项）

(2) $\sin x=x-\frac{1}{3!}{x}^3+\cdots +\frac{x^n}{n!}\sin \frac{n\pi }{2}+\frac{x^{n+1}}{(n+1)!}\sin (\xi +\frac{n+1}{2}\pi )$

或 $=x-\frac{1}{3!}{x}^3+\cdots +\frac{x^n}{n!}\sin \frac{n\pi }{2}+o(x^n)$

(3) $\cos x=1-\frac{1}{2!}{x}^2+\cdots +\frac{x^n}{n!}\cos \frac{n\pi }{2}+\frac{x^{n+1}}{(n+1)!}\cos (\xi +\frac{n+1}{2}\pi )$

或 $=1-\frac{1}{2!}{x}^2+\cdots +\frac{x^n}{n!}\cos \frac{n\pi }{2}+o(x^n)$

(4) $\ln (1+x)=x-\frac{1}{2}{x}^2+\frac{1}{3}{x}^3-\cdots +{(-1)}^{n-1}\frac{x^n}{n}+\frac{{(-1)}^n{x}^{n+1}}{(n+1){(1+\xi )}^{n+1}}$

或 $=x-\frac{1}{2}{x}^2+\frac{1}{3}{x}^3-\cdots +{(-1)}^{n-1}\frac{x^n}{n}+o(x^n)$

(5) ${(1+x)}^m=1+mx+\frac{m(m-1)}{2!}{x}^2+\cdots +\frac{m(m-1)\cdots (m-n+1)}{n!}{x}^n$
$+\frac{m(m-1)\cdots (m-n+1)}{(n+1)!}{x}^{n+1}{(1+\xi )}^{m-n-1}$

或${(1+x)}^m=1+mx+\frac{m(m-1)}{2!}{x}^2+\cdots$ ，$+\frac{m(m-1)\cdots (m-n+1)}{n!}{x}^n+o(x^n)$

(6)$\frac{1}{1-x}=1+x+x^2+x^3+o(x^3)$

(7)$tanx=x+\frac{x^3}{3}+o(x^3)$

5.不定积分与定积分

原函数与不定积分 “设$F^{\prime }(x)=f(x),x\in (a,b)$，则称$F(x)$为$f(x)$在区间$(a,b)$上的一个原函数，记为$\int f(x)dx=F(x)+C$，其中C为任意常数”

定积分存在定理

• 设$f(x)$在$[a,b]$上连续，则${\int }_a^{b}f(x)dx$存在（原函数存在）.
• 设$f(x)$在$[a,b]$上有界，且只有有限个间断点，则${\int }_a^{b}f(x)dx$存在.

反常积分

​ 设$f(x)$在$[a,+\infty ]$上连续，称${\int }_a^{+\infty }f(x)dx={\lim }_{b\to +\infty }{\int }_a^{b}f(x)dx$为$f(x)$在$[a,+\infty ]$上的反常积分。若右边极限存在，称此反常积分收敛；否则此反常积分发散。

重要反常积分：${\int }_{-\infty }^{+\infty }{e}^{-x^2}dx=2{\int }_0^{+\infty }{e}^{-x^2}dx=\sqrt{\pi }$

定积分的应用

• 平面图形面积 “极坐标曲线$r=r(\theta )$介于两射线$\theta =\alpha$与$\theta =\beta (0<\beta -\alpha \le 2\pi )$之间的曲边扇形面积 $A=\frac{1}{2}{\int }_{\alpha }^{\beta }{r}^2(\theta )d\theta$”
• 平面曲线的弧长 “直角坐标$s={\int }_a^b\sqrt{1+y^{\prime 2}(x)}dx$；极坐标$s={\int }_{\alpha }^{\beta }\sqrt{r^2(\theta )+r^{\prime 2}(\theta )}d\theta$”
• 旋转体体积 “曲线$y=f(x)$与$x=a,x=b，x$轴围成的曲边梯形绕$x$轴旋转一周 $V=\pi {\int }_a^b{y}^2(x)dx,a<b$；绕$y$轴旋转一周 $V=2\pi {\int }_a^{b}xy(x)dx$”
• 旋转曲面面积
• 函数平均值 $\overline{f}=\frac{1}{b-a}{\int }_a^{b}f(x)dx$.

多元函数微积分学

二元函数连续是在一元函数基础上的推论

二元函数的偏导数与全微分

二重极限的存在性

二元函数的可微性

复合函数的偏导数与全微分

多元函数的极值与最值

• 无条件极值

​ 若存在$M_0(x_0,y_0)$点的某邻域$U_{\delta }(M_0)$，使得$f(x,y)\le (或\ge )f(x_0,y_0),\forall (x,y)\in U_{\delta }(M_0)$，则称$f(x,y)$在点$M_0(x_0,y_0)$处取得极小（大）值。

​ 凡是能使$f_x^{\prime }(x,y)=0,f_y^{\prime }(x,y)=0$同时成立的点称为二元函数的驻点，但驻点不等价于极值点。

​ 具有一阶偏导数的函数的极值点一定是驻点，但驻点不一定是极值点。

• 条件极值

​ 函数$f(x,y)$在条件$\varphi (x,y)=0$下的极值，先构造拉格朗日（辅助）函数$F(x,y,\lambda )=f(x,y)+\lambda \varphi (x,y)$.

二重积分

常微分方程

​ 含有未知函数，未知函数的导数与自变量之间关系的方程，叫做微分方程。

• 可分离变量的方程
• 齐次方程
• 线性方程
• 可降价的高阶微分方程