PaddlePaddle入门深度学习——深度学习的数学基础和参考书

深度学习常用数学知识

---

为什么图片能被计算机读取？为什么我们可以用CNN对成千上万中图片进行分类，这背后的原理是什么？在了解原理之前，先给大家补点数学知识。因为无论是深度学习还是机器学习，背后都是有一些数学原理和公式推导的，所以掌握必备的数学知识必不可少，下面会给大家简单科普下常用的数学知识有哪些~

数学基础知识

数据科学需要一定的数学基础，但仅仅做应用的话，如果时间不多，不用学太深，了解基本公式即可，遇到问题再查吧。

下面是常见的一些数学基础概念，建议大家收藏后再仔细阅读，遇到不懂的概念可以直接在这里查~

高等数学

1.导数定义：

导数和微分的概念

$f^{\prime }(x_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$ （1）

或者：

$f^{\prime }(x_0)=\underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}$ （2）

2.左右导数导数的几何意义和物理意义

函数$f(x)$在$x_0$处的左、右导数分别定义为：

左导数：${f^{\prime }}_{-}(x_0)=\underset{\Delta x\to 0^{-}}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}=\underset{x\to x_0^{-}}{\lim }\frac{f(x)-f(x_0)}{x-x_0},(x=x_0+\Delta x)$

右导数：${f^{\prime }}_{+}(x_0)=\underset{\Delta x\to 0^{+}}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}=\underset{x\to x_0^{+}}{\lim }\frac{f(x)-f(x_0)}{x-x_0}$

3.函数的可导性与连续性之间的关系

Th1: 函数$f(x)$在$x_0$处可微$\iff f(x)$在$x_0$处可导

Th2: 若函数在点$x_0$处可导，则$y=f(x)$在点$x_0$处连续，反之则不成立。即函数连续不一定可导。

Th3: $f^{\prime }(x_0)$存在$\iff {f^{\prime }}_{-}(x_0)={f^{\prime }}_{+}(x_0)$

4.平面曲线的切线和法线

切线方程 : $y-y_0=f^{\prime }(x_0)(x-x_0)$
法线方程：$y-y_0=-\frac{1}{f^{\prime }(x_0)}(x-x_0),f^{\prime }(x_0)\ne 0$

5.四则运算法则
设函数$u=u(x)，v=v(x)$]在点$x$可导则
(1) $(u\pm v{)}^{\prime }=u^{\prime }\pm v^{\prime }$ $d(u\pm v)=du\pm dv$
(2)$(uv{)}^{\prime }=u{v}^{\prime }+v{u}^{\prime }$ $d(uv)=udv+vdu$
(3) $(\frac{u}{v}{)}^{\prime }=\frac{v{u}^{\prime }-u{v}^{\prime }}{v^2}(v\ne 0)$ $d(\frac{u}{v})=\frac{vdu-udv}{v^2}$

6.基本导数与微分表

(1) $y=c$（常数） $y^{\prime }=0$ $dy=0$

(2) $y=x^{\alpha }$($\alpha$为实数) $y^{\prime }=\alpha x^{\alpha -1}$ $dy=\alpha x^{\alpha -1}dx$

(3) $y=a^x$ $y^{\prime }=a^x\ln a$ $dy=a^x\ln adx$
特例: $(e^x{)}^{\prime }=e^x$ $d(e^x)=e^{x}dx$

(4) $y={\log }_{a}x$ $y^{\prime }=\frac{1}{x\ln a}$

$dy=\frac{1}{x\ln a}dx$
特例:$y=\ln x$ $(\ln x{)}^{\prime }=\frac{1}{x}$ $d(\ln x)=\frac{1}{x}dx$

(5) $y=\sin x$

$y^{\prime }=\cos x$ $d(\sin x)=\cos xdx$

(6) $y=\cos x$

$y^{\prime }=-\sin x$ $d(\cos x)=-\sin xdx$

(7) $y=\tan x$

$y^{\prime }=\frac{1}{{\cos }^{2}x}={\sec }^{2}x$ $d(\tan x)={\sec }^{2}xdx$
(8) $y=\cot x$ $y^{\prime }=-\frac{1}{{\sin }^{2}x}=-{\csc }^{2}x$ $d(\cot x)=-{\csc }^{2}xdx$
(9) $y=\sec x$ $y^{\prime }=\sec x\tan x$

$d(\sec x)=\sec x\tan xdx$
(10) $y=\csc x$ $y^{\prime }=-\csc x\cot x$

$d(\csc x)=-\csc x\cot xdx$
(11) $y=\arcsin x$

$y^{\prime }=\frac{1}{\sqrt{1-x^2}}$

$d(\arcsin x)=\frac{1}{\sqrt{1-x^2}}dx$
(12) $y=\arccos x$

$y^{\prime }=-\frac{1}{\sqrt{1-x^2}}$ $d(\arccos x)=-\frac{1}{\sqrt{1-x^2}}dx$

(13) $y=\arctan x$

$y^{\prime }=\frac{1}{1+x^2}$ $d(\arctan x)=\frac{1}{1+x^2}dx$

(14) $y=\mathrm{arc}\cot x$

$y^{\prime }=-\frac{1}{1+x^2}$

$d(\mathrm{arc}\cot x)=-\frac{1}{1+x^2}dx$
(15) $y=shx$

$y^{\prime }=chx$ $d(shx)=chxdx$

(16) $y=chx$

$y^{\prime }=shx$ $d(chx)=shxdx$

7.复合函数，反函数，隐函数以及参数方程所确定的函数的微分法

(1) 反函数的运算法则: 设$y=f(x)$在点$x$的某邻域内单调连续，在点$x$处可导且$f^{\prime }(x)\ne 0$，则其反函数在点$x$所对应的$y$处可导，并且有$\frac{dy}{dx}=\frac{1}{\frac{dx}{dy}}$

(2) 复合函数的运算法则:若 $\mu =\phi (x)$ 在点$x$可导,而$y=f(\mu )$在对应点$\mu$($\mu =\phi (x)$)可导,则复合函数$y=f(\phi (x))$在点$x$可导,且$y^{\prime }=f^{\prime }(\mu )\cdot {\phi }^{\prime }(x)$

(3) 隐函数导数$\frac{dy}{dx}$的求法一般有三种方法：

1)方程两边对$x$求导，要记住$y$是$x$的函数，则$y$的函数是$x$的复合函数.例如$\frac{1}{y}$，$y^2$，$lny$，$e^y$等均是$x$的复合函数.
对$x$求导应按复合函数连锁法则做.

2)公式法.由$F(x,y)=0$知 $\frac{dy}{dx}=-\frac{{F^{\prime }}_x(x,y)}{{F^{\prime }}_y(x,y)}$,其中，${F^{\prime }}_x(x,y)$，
${F^{\prime }}_y(x,y)$分别表示$F(x,y)$对$x$和$y$的偏导数

3)利用微分形式不变性

8.常用高阶导数公式

（1）$(a^x){}^{(n)}=a^x{\ln }^{n}a(a>0)(e^x){}^{(n)}=e{}^x$

（2）$(\sin kx){}^{(n)}=k^n\sin (kx+n\cdot \frac{\pi }{2})$

（3）$(\cos kx){}^{(n)}=k^n\cos (kx+n\cdot \frac{\pi }{2})$

（4）$(x^m){}^{(n)}=m(m-1)\cdots (m-n+1)x^{m-n}$

（5）$(\ln x){}^{(n)}={(-1)}^{(n-1)}\frac{(n-1)!}{x^n}$

（6）莱布尼兹公式：若$u(x),v(x)$均$n$阶可导，则
${(uv)}^{(n)}=\sum _{i=0}^n{c}_n^i{u}^{(i)}{v}^{(n-i)}$，其中$u^{(0)}=u$，$v^{(0)}=v$

9.微分中值定理，泰勒公式

Th1:(费马定理)

若函数$f(x)$满足条件：
(1)函数$f(x)$在$x_0$的某邻域内有定义，并且在此邻域内恒有
$f(x)\le f(x_0)$或$f(x)\ge f(x_0)$,

(2) $f(x)$在$x_0$处可导,则有 $f^{\prime }(x_0)=0$

Th2:(罗尔定理)

设函数$f(x)$满足条件：
(1)在闭区间$[a,b]$上连续；

(2)在$(a,b)$内可导；

(3)$f(a)=f(b)$；

则在$(a,b)$内一存在个$\xi$，使 $f^{\prime }(\xi )=0$

Th3: (拉格朗日中值定理)

设函数$f(x)$满足条件：
(1)在$[a,b]$上连续；

(2)在$(a,b)$内可导；

则在$(a,b)$内一存在个$\xi$，使 $\frac{f(b)-f(a)}{b-a}=f^{\prime }(\xi )$

Th4: (柯西中值定理)

设函数$f(x)$，$g(x)$满足条件：
(1) 在$[a,b]$上连续；

(2) 在$(a,b)$内可导且$f^{\prime }(x)$，$g^{\prime }(x)$均存在，且$g^{\prime }(x)\ne 0$

则在$(a,b)$内存在一个$\xi$，使 $\frac{f(b)-f(a)}{g(b)-g(a)}=\frac{f^{\prime }(\xi )}{g^{\prime }(\xi )}$

10.洛必达法则
法则Ⅰ ($\frac{0}{0}$型)
设函数$f\left(x\right),g\left(x\right)$满足条件：
$\underset{x\to x_0}{\lim }f\left(x\right)=0,\underset{x\to x_0}{\lim }g\left(x\right)=0$;

$f\left(x\right),g\left(x\right)$在$x_0$的邻域内可导，(在$x_0$处可除外)且$g^{\prime }\left(x\right)\ne 0$;

$\underset{x\to x_0}{\lim }\frac{f^{\prime }\left(x\right)}{g^{\prime }\left(x\right)}$存在(或$\infty$)。

则:
$\underset{x\to x_0}{\lim }\frac{f\left(x\right)}{g\left(x\right)}=\underset{x\to x_0}{\lim }\frac{f^{\prime }\left(x\right)}{g^{\prime }\left(x\right)}$。
法则$I^{\prime }$ ($\frac{0}{0}$型)设函数$f\left(x\right),g\left(x\right)$满足条件：
$\underset{x\to \infty }{\lim }f\left(x\right)=0,\underset{x\to \infty }{\lim }g\left(x\right)=0$;

存在一个$X>0$,当$\left|x\right|>X$时,$f\left(x\right),g\left(x\right)$可导,且$g^{\prime }\left(x\right)\ne 0$;$\underset{x\to x_0}{\lim }\frac{f^{\prime }\left(x\right)}{g^{\prime }\left(x\right)}$存在(或$\infty$)。

则$\underset{x\to x_0}{\lim }\frac{f\left(x\right)}{g\left(x\right)}=\underset{x\to x_0}{\lim }\frac{f^{\prime }\left(x\right)}{g^{\prime }\left(x\right)}$
法则Ⅱ( $\frac{\infty }{\infty }$ 型) 设函数 $f\left(x\right),g\left(x\right)$ 满足条件：
$\underset{x\to x_0}{\lim }f\left(x\right)=\infty ,\underset{x\to x_0}{\lim }g\left(x\right)=\infty$;
$f\left(x\right),g\left(x\right)$ 在 $x_0$ 的邻域内可导(在$x_0$处可除外)且$g^{\prime }\left(x\right)\ne 0$;$\underset{x\to x_0}{\lim }\frac{f^{\prime }\left(x\right)}{g^{\prime }\left(x\right)}$ 存在(或$\infty$)。
则$\underset{x\to x_0}{\lim }\frac{f\left(x\right)}{g\left(x\right)}=\underset{x\to x_0}{\lim }\frac{f^{\prime }\left(x\right)}{g^{\prime }\left(x\right)}$ 同理法则$I{I}^{\prime }$ ( $\frac{\infty }{\infty }$ 型)仿法则 $I^{\prime }$ 可写出。

11.泰勒公式

设函数$f(x)$在点$x_0$处的某邻域内具有$n+1$阶导数，则对该邻域内异于$x_0$的任意点$x$，在$x_0$与$x$之间至少存在
一个$\xi$，使得：
$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{1}{2!}{f}^{\prime \prime }(x_0){(x-x_0)}^2+\cdots$
$+\frac{f^{(n)}(x_0)}{n!}{(x-x_0)}^n+R_n(x)$
其中 $R_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}{(x-x_0)}^{n+1}$称为$f(x)$在点$x_0$处的$n$阶泰勒余项。

令$x_0=0$，则$n$阶泰勒公式
$f(x)=f(0)+f^{\prime }(0)x+\frac{1}{2!}{f}^{\prime \prime }(0)x^2+\cdots +\frac{f^{(n)}(0)}{n!}{x}^n+R_n(x)$……(1)
其中 $R_n(x)=\frac{f^{(n+1)}(\xi )}{(n+1)!}{x}^{n+1}$，$\xi$在0与$x$之间.(1)式称为麦克劳林公式

常用五种函数在$x_0=0$处的泰勒公式

(1) $e^x=1+x+\frac{1}{2!}{x}^2+\cdots +\frac{1}{n!}{x}^n+\frac{x^{n+1}}{(n+1)!}{e}^{\xi }$

或 $=1+x+\frac{1}{2!}{x}^2+\cdots +\frac{1}{n!}{x}^n+o(x^n)$

(2) $\sin x=x-\frac{1}{3!}{x}^3+\cdots +\frac{x^n}{n!}\sin \frac{n\pi }{2}+\frac{x^{n+1}}{(n+1)!}\sin (\xi +\frac{n+1}{2}\pi )$

或 $=x-\frac{1}{3!}{x}^3+\cdots +\frac{x^n}{n!}\sin \frac{n\pi }{2}+o(x^n)$

(3) $\cos x=1-\frac{1}{2!}{x}^2+\cdots +\frac{x^n}{n!}\cos \frac{n\pi }{2}+\frac{x^{n+1}}{(n+1)!}\cos (\xi +\frac{n+1}{2}\pi )$

或 $=1-\frac{1}{2!}{x}^2+\cdots +\frac{x^n}{n!}\cos \frac{n\pi }{2}+o(x^n)$

(4) $\ln (1+x)=x-\frac{1}{2}{x}^2+\frac{1}{3}{x}^3-\cdots +{(-1)}^{n-1}\frac{x^n}{n}+\frac{{(-1)}^n{x}^{n+1}}{(n+1){(1+\xi )}^{n+1}}$

或 $=x-\frac{1}{2}{x}^2+\frac{1}{3}{x}^3-\cdots +{(-1)}^{n-1}\frac{x^n}{n}+o(x^n)$

(5) ${(1+x)}^m=1+mx+\frac{m(m-1)}{2!}{x}^2+\cdots +\frac{m(m-1)\cdots (m-n+1)}{n!}{x}^n$
$+\frac{m(m-1)\cdots (m-n+1)}{(n+1)!}{x}^{n+1}{(1+\xi )}^{m-n-1}$

或${(1+x)}^m=1+mx+\frac{m(m-1)}{2!}{x}^2+\cdots$ ，$+\frac{m(m-1)\cdots (m-n+1)}{n!}{x}^n+o(x^n)$

12.函数单调性的判断

Th1: 设函数$f(x)$在$(a,b)$区间内可导，如果对$\forall x\in (a,b)$，都有$f{}^{\prime }(x)>0$（或$f{}^{\prime }(x)<0$），则函数$f(x)$在$(a,b)$内是单调增加的（或单调减少）

Th2: （取极值的必要条件）设函数$f(x)$在$x_0$处可导，且在$x_0$处取极值，则$f{}^{\prime }(x_0)=0$。

Th3: （取极值的第一充分条件）设函数$f(x)$在$x_0$的某一邻域内可微，且$f{}^{\prime }(x_0)=0$（或$f(x)$在$x_0$处连续，但$f{}^{\prime }(x_0)$不存在。）
(1)若当$x$经过$x_0$时，$f{}^{\prime }(x)$由“+”变“-”，则$f(x_0)$为极大值；
(2)若当$x$经过$x_0$时，$f{}^{\prime }(x)$由“-”变“+”，则$f(x_0)$为极小值；
(3)若$f{}^{\prime }(x)$经过$x=x_0$的两侧不变号，则$f(x_0)$不是极值。

Th4: (取极值的第二充分条件)设$f(x)$在点$x_0$处有$f^{\prime \prime }(x)\ne 0$，且$f{}^{\prime }(x_0)=0$，则 当$f^{\prime }{}^{\prime }(x_0)<0$时，$f(x_0)$为极大值；
当$f^{\prime }{}^{\prime }(x_0)>0$时，$f(x_0)$为极小值。
注：如果$f^{\prime }{}^{\prime }(x_0)=0$，此方法失效。

13.渐近线的求法
(1)水平渐近线 若$\underset{x\to +\infty }{\lim }f(x)=b$，或$\underset{x\to -\infty }{\lim }f(x)=b$，则

$y=b$称为函数$y=f(x)$的水平渐近线。

(2)铅直渐近线 若$\underset{x\to x_0^{-}}{\lim }f(x)=\infty$，或$\underset{x\to x_0^{+}}{\lim }f(x)=\infty$，则

$x=x_0$称为$y=f(x)$的铅直渐近线。

(3)斜渐近线 若$a=\underset{x\to \infty }{\lim }\frac{f(x)}{x},b=\underset{x\to \infty }{\lim }[f(x)-ax]$，则
$y=ax+b$称为$y=f(x)$的斜渐近线。

14.函数凹凸性的判断
Th1: (凹凸性的判别定理）若在I上$f^{\prime \prime }(x)<0$（或$f^{\prime \prime }(x)>0$），则$f(x)$在I上是凸的（或凹的）。

Th2: (拐点的判别定理1)若在$x_0$处$f^{\prime \prime }(x)=0$，（或$f^{\prime \prime }(x)$不存在），当$x$变动经过$x_0$时，$f^{\prime \prime }(x)$变号，则$(x_0,f(x_0))$为拐点。

Th3: (拐点的判别定理2)设$f(x)$在$x_0$点的某邻域内有三阶导数，且$f^{\prime \prime }(x)=0$，$f^{\prime \prime \prime }(x)\ne 0$，则$(x_0,f(x_0))$为拐点。

15.弧微分

$dS=\sqrt{1+y{{}^{\prime }}^2}dx$

16.曲率

曲线$y=f(x)$在点$(x,y)$处的曲率$k=\frac{|y^{\prime \prime }|}{{(1+y{{}^{\prime }}^2)}^{\frac{3}{2}}}$。
对于参数方程$\{\begin{array}{c}x=\phi (t)\\ y=\psi (t)\end{array},$
$k=\frac{|{\phi }^{\prime }(t){\psi }^{\prime \prime }(t)-{\phi }^{\prime \prime }(t){\psi }^{\prime }(t)|}{{[\phi {{}^{\prime }}^2(t)+\psi {{}^{\prime }}^2(t)]}^{\frac{3}{2}}}$。

17.曲率半径

曲线在点$M$处的曲率$k(k\ne 0)$与曲线在点$M$处的曲率半径$\rho$有如下关系：$\rho =\frac{1}{k}$。

线性代数

行列式

1.行列式按行（列）展开定理

(1) 设$A=(a_{ij}{)}_{n\times n}$，则：$a_{i1}{A}_{j1}+a_{i2}{A}_{j2}+\cdots +a_{in}{A}_{jn}=\{\begin{array}{l}|A|,i=j\\ 0,i\ne j\end{array}$

或$a_{1i}{A}_{1j}+a_{2i}{A}_{2j}+\cdots +a_{ni}{A}_{nj}=\{\begin{array}{l}|A|,i=j\\ 0,i\ne j\end{array}$即 $A{A}^{\ast }=A^{\ast }A=\left|A\right|E,$其中：$A^{\ast }=\left(\begin{array}{cccc}{A}_{11}& A_{12}& \dots & A_{1n}\\ A_{21}& A_{22}& \dots & A_{2n}\\ \dots & \dots & \dots & \dots \\ A_{n1}& A_{n2}& \dots & A_{nn}\end{array}\right)=(A_{ji})={(A_{ij})}^T$

$D_n=\left|\begin{array}{cccc}1& 1& \dots & 1\\ x_1& x_2& \dots & x_n\\ \dots & \dots & \dots & \dots \\ x_1^{n-1}& x_2^{n-1}& \dots & x_n^{n-1}\end{array}\right|={\prod }_{1\le j<i\le n}^{}(x_i-x_j)$

(2) 设$A,B$为$n$阶方阵，则$\left|AB\right|=\left|A\right|\left|B\right|=\left|B\right|\left|A\right|=\left|BA\right|$，但$\left|A\pm B\right|=\left|A\right|\pm \left|B\right|$不一定成立。

(3) $\left|kA\right|=k^n\left|A\right|$,$A$为$n$阶方阵。

(4) 设$A$为$n$阶方阵，$|A^T|=|A|;|A^{-1}|=|A{|}^{-1}$（若$A$可逆），$|A^{\ast }|=|A{|}^{n-1}$

$n\ge 2$

(5) $\left|\begin{array}{cc}& AO\\ & OB\end{array}\right|=\left|\begin{array}{cc}& AC\\ & OB\end{array}\right|=\left|\begin{array}{cc}& AO\\ & CB\end{array}\right|=|A||B|$
，$A,B$为方阵，但$\left|\begin{array}{cc}O& A_{m\times m}\\ B_{n\times n}& O\end{array}\right|=({-1)}^{mn}|A||B|$ 。

(6) 范德蒙行列式$D_n=\left|\begin{array}{cccc}1& 1& \dots & 1\\ x_1& x_2& \dots & x_n\\ \dots & \dots & \dots & \dots \\ x_1^{n-1}& x_2^{n1}& \dots & x_n^{n-1}\end{array}\right|={\prod }_{1\le j<i\le n}^{}(x_i-x_j)$

设$A$是$n$阶方阵，${\lambda }_i(i=1,2\cdots ,n)$是$A$的$n$个特征值，则
$|A|={\prod }_{i=1}^n{\lambda }_i$

矩阵

矩阵：$m\times n$个数$a_{ij}$排成$m$行$n$列的表格$\left[\begin{array}{c}{a}_{11}{a}_{12}\cdots a_{1n}\\ a_{21}{a}_{22}\cdots a_{2n}\\ \cdots \cdots \cdots \cdots \cdots \\ a_{m1}{a}_{m2}\cdots a_{mn}\end{array}\right]$ 称为矩阵，简记为$A$，或者${\left(a_{ij}\right)}_{m\times n}$ 。若$m=n$，则称$A$是$n$阶矩阵或$n$阶方阵。

矩阵的线性运算

1.矩阵的加法

设$A=(a_{ij}),B=(b_{ij})$是两个$m\times n$矩阵，则$m\times n$ 矩阵$C=c_{ij})=a_{ij}+b_{ij}$称为矩阵$A$与$B$的和，记为$A+B=C$ 。

2.矩阵的数乘

设$A=(a_{ij})$是$m\times n$矩阵，$k$是一个常数，则$m\times n$矩阵$(k{a}_{ij})$称为数$k$与矩阵$A$的数乘，记为$kA$。

3.矩阵的乘法

设$A=(a_{ij})$是$m\times n$矩阵，$B=(b_{ij})$是$n\times s$矩阵，那么$m\times s$矩阵$C=(c_{ij})$，其中$c_{ij}=a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{in}{b}_{nj}={\sum }_{k=1}^n{a}_{ik}{b}_{kj}$称为$AB$的乘积，记为$C=AB$ 。

4. ${\mathbf{A}}^{\mathbf{T}}$、${\mathbf{A}}^{-1}$、${\mathbf{A}}^{\ast }$三者之间的关系

(1) ${(A^T)}^T=A,{(AB)}^T=B^T{A}^T,{(kA)}^T=k{A}^T,{(A\pm B)}^T=A^T\pm B^T$

(2) ${\left(A^{-1}\right)}^{-1}=A,{\left(AB\right)}^{-1}=B^{-1}{A}^{-1},{\left(kA\right)}^{-1}=\frac{1}{k}{A}^{-1},$

但 ${(A\pm B)}^{-1}=A^{-1}\pm B^{-1}$不一定成立。

(3) ${\left(A^{\ast }\right)}^{\ast }=|A{|}^{n-2}A(n\ge 3)$，${\left(AB\right)}^{\ast }=B^{\ast }{A}^{\ast },$ ${\left(kA\right)}^{\ast }=k^{n-1}{A}^{\ast }\left(n\ge 2\right)$

但${\left(A\pm B\right)}^{\ast }=A^{\ast }\pm B^{\ast }$不一定成立。

(4) ${(A^{-1})}^T={(A^T)}^{-1},{\left(A^{-1}\right)}^{\ast }={(A{A}^{\ast })}^{-1},{(A^{\ast })}^T={\left(A^T\right)}^{\ast }$

5.有关${\mathbf{A}}^{\ast }$的结论

(1) $A{A}^{\ast }=A^{\ast }A=|A|E$

(2) $|A^{\ast }|=|A{|}^{n-1}(n\ge 2),{(kA)}^{\ast }=k^{n-1}{A}^{\ast },{\left(A^{\ast }\right)}^{\ast }=|A{|}^{n-2}A(n\ge 3)$

(3) 若$A$可逆，则$A^{\ast }=|A|A^{-1},{(A^{\ast })}^{\ast }=\frac{1}{|A|}A$

(4) 若$A$为$n$阶方阵，则：

$r(A^{\ast })=\{\begin{array}{l}n,r(A)=n\\ 1,r(A)=n-1\\ 0,r(A)<n-1\end{array}$

6.有关${\mathbf{A}}^{-1}$的结论

$A$可逆$\iff AB=E;\iff |A|\ne 0;\iff r(A)=n;$

$\iff A$可以表示为初等矩阵的乘积；$\iff Ax=0$只有零解。

7.有关矩阵秩的结论

(1) 秩$r(A)$=行秩=列秩；

(2) $r(A_{m\times n})\le \min (m,n);$

(3) $A\ne 0\Rightarrow r(A)\ge 1$；

(4) $r(A\pm B)\le r(A)+r(B);$

(5) 初等变换不改变矩阵的秩

(6) $r(A)+r(B)-n\le r(AB)\le \min (r(A),r(B)),$特别若$AB=O$
则：$r(A)+r(B)\le n$

(7) 若$A^{-1}$存在$\Rightarrow r(AB)=r(B);$ 若$B^{-1}$存在
$\Rightarrow r(AB)=r(A);$

若$r(A_{m\times n})=n\Rightarrow r(AB)=r(B);$ 若$r(A_{m\times s})=n\Rightarrow r(AB)=r\left(A\right)$。

(8) $r(A_{m\times s})=n\iff Ax=0$只有零解

8.分块求逆公式

${\left(\begin{array}{cc}A& O\\ O& B\end{array}\right)}^{-1}=\left(\begin{array}{cc}{A}^{-1}& O\\ O& B^{-1}\end{array}\right)$； ${\left(\begin{array}{cc}A& C\\ O& B\end{array}\right)}^{-1}=\left(\begin{array}{cc}{A}^{-1}& -A^{-1}C{B}^{-1}\\ O& B^{-1}\end{array}\right)$；

${\left(\begin{array}{cc}A& O\\ C& B\end{array}\right)}^{-1}=\left(\begin{array}{cc}{A}^{-1}& O\\ -B^{-1}C{A}^{-1}& B^{-1}\end{array}\right)$； ${\left(\begin{array}{cc}O& A\\ B& O\end{array}\right)}^{-1}=\left(\begin{array}{cc}O& B^{-1}\\ A^{-1}& O\end{array}\right)$

这里$A$，$B$均为可逆方阵。

向量

1.有关向量组的线性表示

(1)${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性相关$\iff$至少有一个向量可以用其余向量线性表示。

(2)${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性无关，${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$，$\beta$线性相关$\iff \beta$可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$唯一线性表示。

(3) $\beta$可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性表示
$\iff r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s)=r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s,\beta )$ 。

2.有关向量组的线性相关性

(1)部分相关，整体相关；整体无关，部分无关.

(2) ① $n$个$n$维向量
${\alpha }_1,{\alpha }_2\cdots {\alpha }_n$线性无关$\iff \left|\left[{\alpha }_1{\alpha }_2\cdots {\alpha }_n\right]\right|\ne 0$， $n$个$n$维向量${\alpha }_1,{\alpha }_2\cdots {\alpha }_n$线性相关
$\iff |[{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n]|=0$
。

② $n+1$个$n$维向量线性相关。

③ 若${\alpha }_1,{\alpha }_2\cdots {\alpha }_S$线性无关，则添加分量后仍线性无关；或一组向量线性相关，去掉某些分量后仍线性相关。

3.有关向量组的线性表示

(1) ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性相关$\iff$至少有一个向量可以用其余向量线性表示。

(2) ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性无关，${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$，$\beta$线性相关$\iff \beta$ 可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$唯一线性表示。

(3) $\beta$可以由${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性表示
$\iff r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s)=r({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s,\beta )$

4.向量组的秩与矩阵的秩之间的关系

设$r(A_{m\times n})=r$，则$A$的秩$r(A)$与$A$的行列向量组的线性相关性关系为：

(1) 若$r(A_{m\times n})=r=m$，则$A$的行向量组线性无关。

(2) 若$r(A_{m\times n})=r<m$，则$A$的行向量组线性相关。

(3) 若$r(A_{m\times n})=r=n$，则$A$的列向量组线性无关。

(4) 若$r(A_{m\times n})=r<n$，则$A$的列向量组线性相关。

5.$\mathbf{n}$维向量空间的基变换公式及过渡矩阵

若${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$与${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$是向量空间$V$的两组基，则基变换公式为：

$({\beta }_1,{\beta }_2,\cdots ,{\beta }_n)=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)\left[\begin{array}{cccc}{c}_{11}& c_{12}& \cdots & c_{1n}\\ c_{21}& c_{22}& \cdots & c_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ c_{n1}& c_{n2}& \cdots & c_{nn}\end{array}\right]=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)C$

其中$C$是可逆矩阵，称为由基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$到基${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$的过渡矩阵。

6.坐标变换公式

若向量$\gamma$在基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$与基${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$的坐标分别是
$X={(x_1,x_2,\cdots ,x_n)}^T$，

$Y={\left(y_1,y_2,\cdots ,y_n\right)}^T$ 即： $\gamma =x_1{\alpha }_1+x_2{\alpha }_2+\cdots +x_n{\alpha }_n=y_1{\beta }_1+y_2{\beta }_2+\cdots +y_n{\beta }_n$，则向量坐标变换公式为$X=CY$ 或$Y=C^{-1}X$，其中$C$是从基${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$到基${\beta }_1,{\beta }_2,\cdots ,{\beta }_n$的过渡矩阵。

7.向量的内积

$(\alpha ,\beta )=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n={\alpha }^T\beta ={\beta }^T\alpha$

8.Schmidt正交化

若${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$线性无关，则可构造${\beta }_1,{\beta }_2,\cdots ,{\beta }_s$使其两两正交，且${\beta }_i$仅是${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_i$的线性组合$(i=1,2,\cdots ,n)$，再把${\beta }_i$单位化，记${\gamma }_i=\frac{{\beta }_i}{|{\beta }_i|}$，则${\gamma }_1,{\gamma }_2,\cdots ,{\gamma }_i$是规范正交向量组。其中
${\beta }_1={\alpha }_1$， ${\beta }_2={\alpha }_2-\frac{({\alpha }_2,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1$ ， ${\beta }_3={\alpha }_3-\frac{({\alpha }_3,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1-\frac{({\alpha }_3,{\beta }_2)}{({\beta }_2,{\beta }_2)}{\beta }_2$ ，

…

${\beta }_s={\alpha }_s-\frac{({\alpha }_s,{\beta }_1)}{({\beta }_1,{\beta }_1)}{\beta }_1-\frac{({\alpha }_s,{\beta }_2)}{({\beta }_2,{\beta }_2)}{\beta }_2-\cdots -\frac{({\alpha }_s,{\beta }_{s-1})}{({\beta }_{s-1},{\beta }_{s-1})}{\beta }_{s-1}$

9.正交基及规范正交基

向量空间一组基中的向量如果两两正交，就称为正交基；若正交基中每个向量都是单位向量，就称其为规范正交基。

线性方程组

1．克莱姆法则

线性方程组$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \cdots \\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n=b_n\end{array}$，如果系数行列式$D=\left|A\right|\ne 0$，则方程组有唯一解，$x_1=\frac{D_1}{D},x_2=\frac{D_2}{D},\cdots ,x_n=\frac{D_n}{D}$，其中$D_j$是把$D$中第$j$列元素换成方程组右端的常数列所得的行列式。

2. $n$阶矩阵$A$可逆$\iff Ax=0$只有零解。$\iff \forall b,Ax=b$总有唯一解，一般地，$r(A_{m\times n})=n\iff Ax=0$只有零解。

3.非奇次线性方程组有解的充分必要条件，线性方程组解的性质和解的结构

(1) 设$A$为$m\times n$矩阵，若$r(A_{m\times n})=m$，则对$Ax=b$而言必有$r(A)=r(A⋮b)=m$，从而$Ax=b$有解。

(2) 设$x_1,x_2,\cdots x_s$为$Ax=b$的解，则$k_1{x}_1+k_2{x}_2\cdots +k_s{x}_s$当$k_1+k_2+\cdots +k_s=1$时仍为$Ax=b$的解；但当$k_1+k_2+\cdots +k_s=0$时，则为$Ax=0$的解。特别$\frac{x_1+x_2}{2}$为$Ax=b$的解；$2x_3-(x_1+x_2)$为$Ax=0$的解。

(3) 非齐次线性方程组$Ax=b$无解$\iff r(A)+1=r(\overline{A})\iff b$不能由$A$的列向量${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n$线性表示。

4.奇次线性方程组的基础解系和通解，解空间，非奇次线性方程组的通解

(1) 齐次方程组$Ax=0$恒有解(必有零解)。当有非零解时，由于解向量的任意线性组合仍是该齐次方程组的解向量，因此$Ax=0$的全体解向量构成一个向量空间，称为该方程组的解空间，解空间的维数是$n-r(A)$，解空间的一组基称为齐次方程组的基础解系。

(2) ${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$是$Ax=0$的基础解系，即：

1. ${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$是$Ax=0$的解；

2. ${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$线性无关；

3. $Ax=0$的任一解都可以由${\eta }_1,{\eta }_2,\cdots ,{\eta }_t$线性表出.
   $k_1{\eta }_1+k_2{\eta }_2+\cdots +k_t{\eta }_t$是$Ax=0$的通解，其中$k_1,k_2,\cdots ,k_t$是任意常数。

矩阵的特征值和特征向量

1.矩阵的特征值和特征向量的概念及性质

(1) 设$\lambda$是$A$的一个特征值，则 $kA,aA+bE,A^2,A^m,f(A),A^T,A^{-1},A^{\ast }$有一个特征值分别为
$k\lambda ,a\lambda +b,{\lambda }^2,{\lambda }^m,f(\lambda ),\lambda ,{\lambda }^{-1},\frac{|A|}{\lambda },$且对应特征向量相同（$A^T$ 例外）。

(2)若${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$为$A$的$n$个特征值，则${\sum }_{i=1}^n{\lambda }_i={\sum }_{i=1}^n{a}_{ii},{\prod }_{i=1}^n{\lambda }_i=|A|$ ,从而$|A|\ne 0\iff A$没有特征值。

(3)设${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_s$为$A$的$s$个特征值，对应特征向量为${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_s$，

若: $\alpha =k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_s{\alpha }_s$ ,

则: $A^n\alpha =k_1{A}^n{\alpha }_1+k_2{A}^n{\alpha }_2+\cdots +k_s{A}^n{\alpha }_s=k_1{\lambda }_1^n{\alpha }_1+k_2{\lambda }_2^n{\alpha }_2+\cdots k_s{\lambda }_s^n{\alpha }_s$ 。

2.相似变换、相似矩阵的概念及性质

(1) 若$A\sim B$，则

1. $A^T\sim B^T,A^{-1}\sim B^{-1},,A^{\ast }\sim B^{\ast }$

2. $|A|=|B|,{\sum }_{i=1}^n{A}_{ii}={\sum }_{i=1}^n{b}_{ii},r(A)=r(B)$

3. $|\lambda E-A|=|\lambda E-B|$，对$\forall \lambda$成立

3.矩阵可相似对角化的充分必要条件

(1)设$A$为$n$阶方阵，则$A$可对角化$\iff$对每个$k_i$重根特征值${\lambda }_i$，有$n-r({\lambda }_{i}E-A)=k_i$

(2) 设$A$可对角化，则由$P^{-1}AP=\Lambda ,$有$A=P\Lambda P^{-1}$，从而$A^n=P{\Lambda }^n{P}^{-1}$

(3) 重要结论

1. 若$A\sim B,C\sim D$，则$\left[\begin{array}{cc}A& O\\ O& C\end{array}\right]\sim \left[\begin{array}{cc}B& O\\ O& D\end{array}\right]$.

2. 若$A\sim B$，则$f(A)\sim f(B),\left|f(A)\right|\sim \left|f(B)\right|$，其中$f(A)$为关于$n$阶方阵$A$的多项式。

3. 若$A$为可对角化矩阵，则其非零特征值的个数(重根重复计算)＝秩($A$)

4.实对称矩阵的特征值、特征向量及相似对角阵

(1)相似矩阵：设$A,B$为两个$n$阶方阵，如果存在一个可逆矩阵$P$，使得$B=P^{-1}AP$成立，则称矩阵$A$与$B$相似，记为$A\sim B$。

(2)相似矩阵的性质：如果$A\sim B$则有：

1. $A^T\sim B^T$

2. $A^{-1}\sim B^{-1}$ （若$A$，$B$均可逆）

3. $A^k\sim B^k$ （$k$为正整数）

4. $\left|\lambda E-A\right|=\left|\lambda E-B\right|$，从而$A,B$
   有相同的特征值

5. $\left|A\right|=\left|B\right|$，从而$A,B$同时可逆或者不可逆

6. 秩$\left(A\right)=$秩$\left(B\right),\left|\lambda E-A\right|=\left|\lambda E-B\right|$，$A,B$不一定相似

二次型

1.$\mathbf{n}$个变量${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_{\mathbf{n}}$的二次齐次函数

$f(x_1,x_2,\cdots ,x_n)={\sum }_{i=1}^n{\sum }_{j=1}^n{a}_{ij}{x}_i{y}_j$，其中$a_{ij}=a_{ji}(i,j=1,2,\cdots ,n)$，称为$n$元二次型，简称二次型. 若令$x=\left[\begin{array}{c}{x}_1\\ x_1\\ ⋮\\ x_n\end{array}\right],A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots \\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]$,这二次型$f$可改写成矩阵向量形式$f=x^{T}Ax$。其中$A$称为二次型矩阵，因为$a_{ij}=a_{ji}(i,j=1,2,\cdots ,n)$，所以二次型矩阵均为对称矩阵，且二次型与对称矩阵一一对应，并把矩阵$A$的秩称为二次型的秩。

2.惯性定理，二次型的标准形和规范形

(1) 惯性定理

对于任一二次型，不论选取怎样的合同变换使它化为仅含平方项的标准型，其正负惯性指数与所选变换无关，这就是所谓的惯性定理。

(2) 标准形

二次型$f=\left(x_1,x_2,\cdots ,x_n\right)=x^{T}Ax$经过合同变换$x=Cy$化为$f=x^{T}Ax=y^T{C}^{T}AC$

$y={\sum }_{i=1}^r{d}_i{y}_i^2$称为 $f(r\le n)$的标准形。在一般的数域内，二次型的标准形不是唯一的，与所作的合同变换有关，但系数不为零的平方项的个数由$r(A)$唯一确定。

(3) 规范形

任一实二次型$f$都可经过合同变换化为规范形$f=z_1^2+z_2^2+\cdots z_p^2-z_{p+1}^2-\cdots -z_r^2$，其中$r$为$A$的秩，$p$为正惯性指数，$r-p$为负惯性指数，且规范型唯一。

3.用正交变换和配方法化二次型为标准形，二次型及其矩阵的正定性

设$A$正定$\Rightarrow kA(k>0),A^T,A^{-1},A^{\ast }$正定；$|A|>0$,$A$可逆；$a_{ii}>0$，且$|A_{ii}|>0$

$A$，$B$正定$\Rightarrow A+B$正定，但$AB$，$BA$不一定正定

$A$正定$\iff f(x)=x^{T}Ax>0,\forall x\ne 0$

$\iff A$的各阶顺序主子式全大于零

$\iff A$的所有特征值大于零

$\iff A$的正惯性指数为$n$

$\iff$存在可逆阵$P$使$A=P^{T}P$

$\iff$存在正交矩阵$Q$，使$Q^{T}AQ=Q^{-1}AQ=\left(\begin{array}{ccc}{\lambda }_1& & \\ \begin{array}{cc}& \\ & \end{array}& \ddots & \\ & & {\lambda }_n\end{array}\right),$

其中${\lambda }_i>0,i=1,2,\cdots ,n.$正定$\Rightarrow kA(k>0),A^T,A^{-1},A^{\ast }$正定； $|A|>0,A$可逆；$a_{ii}>0$，且$|A_{ii}|>0$ 。

概率论和数理统计

随机事件和概率

1.事件的关系与运算

(1) 子事件：$A\subset B$，若$A$发生，则$B$发生。

(2) 相等事件：$A=B$，即$A\subset B$，且$B\subset A$ 。

(3) 和事件：$A\bigcup B$（或$A+B$），$A$与$B$中至少有一个发生。

(4) 差事件：$A-B$，$A$发生但$B$不发生。

(5) 积事件：$A\bigcap B$（或$AB$），$A$与$B$同时发生。

(6) 互斥事件（互不相容）：$A\bigcap B$=$\varnothing$。

(7) 互逆事件（对立事件）：
$A\bigcap B=\varnothing ,A\bigcup B=\Omega ,A=\bar{B},B=\bar{A}$

2.运算律
(1) 交换律：$A\bigcup B=B\bigcup A,A\bigcap B=B\bigcap A$
(2) 结合律：$(A\bigcup B)\bigcup C=A\bigcup (B\bigcup C)$
(3) 分配律：$(A\bigcap B)\bigcap C=A\bigcap (B\bigcap C)$

3.德$\cdot$摩根律

$\overline{A\bigcup B}=\bar{A}\bigcap \bar{B}$ $\overline{A\bigcap B}=\bar{A}\bigcup \bar{B}$

4.完全事件组

$A_1{A}_2\cdots A_n$两两互斥，且和事件为必然事件，即KaTeX parse error: Got function '\bigcup' with no arguments as argument to '\mathop' at position 84: …set{n}{\mathop \̲b̲i̲g̲c̲u̲p̲ ̲}}\,=\Omega

5.概率的基本公式

(1)条件概率:
$P(B|A)=\frac{P(AB)}{P(A)}$,表示$A$发生的条件下，$B$发生的概率。

(2)全概率公式：
$P(A)=\sum _{i=1}^{n}P(A|B_i)P(B_i),B_i{B}_j=\varnothing ,i\ne j,\underset{i=1}{\bigcup ^n}{B}_i=\Omega$

(3) Bayes公式：

$P(B_j|A)=\frac{P(A|B_j)P(B_j)}{\sum _{i=1}^{n}P(A|B_i)P(B_i)},j=1,2,\cdots ,n$
注：上述公式中事件$B_i$的个数可为可列个。

(4)乘法公式：
$P(A_1{A}_2)=P(A_1)P(A_2|A_1)=P(A_2)P(A_1|A_2)$
$P(A_1{A}_2\cdots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)\cdots P(A_n|A_1{A}_2\cdots A_{n-1})$

6.事件的独立性

(1)$A$与$B$相互独立$\iff P(AB)=P(A)P(B)$

(2)$A$，$B$，$C$两两独立
$\iff P(AB)=P(A)P(B)$;$P(BC)=P(B)P(C)$ ;$P(AC)=P(A)P(C)$;

(3)$A$，$B$，$C$相互独立
$\iff P(AB)=P(A)P(B)$; $P(BC)=P(B)P(C)$ ;
$P(AC)=P(A)P(C)$ ; $P(ABC)=P(A)P(B)P(C)$

7.独立重复试验

将某试验独立重复$n$次，若每次实验中事件A发生的概率为$p$，则$n$次试验中$A$发生$k$次的概率为：
$P(X=k)=C_n^k{p}^k{(1-p)}^{n-k}$

8.重要公式与结论
$(1)P(\bar{A})=1-P(A)$

$(2)P(A\bigcup B)=P(A)+P(B)-P(AB)$
$P(A\bigcup B\bigcup C)=P(A)+P(B)+P(C)-P(AB)-P(BC)-P(AC)+P(ABC)$

$(3)P(A-B)=P(A)-P(AB)$

$(4)P(A\bar{B})=P(A)-P(AB),P(A)=P(AB)+P(A\bar{B}),$
$P(A\bigcup B)=P(A)+P(\bar{A}B)=P(AB)+P(A\bar{B})+P(\bar{A}B)$

(5)条件概率$P(\cdot |B)$满足概率的所有性质，
例如：. $P({\bar{A}}_1|B)=1-P(A_1|B)$
$P(A_1\bigcup A_2|B)=P(A_1|B)+P(A_2|B)-P(A_1{A}_2|B)$
$P(A_1{A}_2|B)=P(A_1|B)P(A_2|A_{1}B)$

(6)若$A_1,A_2,\cdots ,A_n$相互独立，则$P(\bigcap _{i=1}^n{A}_i)=\prod _{i=1}^{n}P(A_i),$
$P(\bigcup _{i=1}^n{A}_i)=\prod _{i=1}^n(1-P(A_i))$

(7)互斥、互逆与独立性之间的关系：
$A$与$B$互逆$\Rightarrow$ $A$与$B$互斥，但反之不成立，$A$与$B$互斥（或互逆）且均非零概率事件$\Rightarrow$$A$与$B$不独立.

(8)若$A_1,A_2,\cdots ,A_m,B_1,B_2,\cdots ,B_n$相互独立，则$f(A_1,A_2,\cdots ,A_m)$与$g(B_1,B_2,\cdots ,B_n)$也相互独立，其中$f(\cdot ),g(\cdot )$分别表示对相应事件做任意事件运算后所得的事件，另外，概率为1（或0）的事件与任何事件相互独立.

随机变量及其概率分布

1.随机变量及概率分布

取值带有随机性的变量，严格地说是定义在样本空间上，取值于实数的函数称为随机变量，概率分布通常指分布函数或分布律

2.分布函数的概念与性质

定义： $F(x)=P(X\le x),-\infty <x<+\infty$

性质：(1)$0\le F(x)\le 1$

(2) $F(x)$单调不减

(3) 右连续$F(x+0)=F(x)$

(4) $F(-\infty )=0,F(+\infty )=1$

3.离散型随机变量的概率分布

$P(X=x_i)=p_i,i=1,2,\cdots ,n,\cdots p_i\ge 0,{\sum }_{i=1}^{\infty }{p}_i=1$

4.连续型随机变量的概率密度

概率密度$f(x)$;非负可积，且:

(1)$f(x)\ge 0,$

(2)${\int }_{-\infty }^{+\infty }f(x)dx=1$

(3)$x$为$f(x)$的连续点，则:

$f(x)=F^{\prime }(x)$分布函数$F(x)={\int }_{-\infty }^{x}f(t)dt$

5.常见分布

(1) 0-1分布:$P(X=k)=p^k{(1-p)}^{1-k},k=0,1$

(2) 二项分布:$B(n,p)$： $P(X=k)=C_n^k{p}^k{(1-p)}^{n-k},k=0,1,\cdots ,n$

(3) Poisson分布:$p(\lambda )$： $P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },\lambda >0,k=0,1,2\cdots$

(4) 均匀分布$U(a,b)$： f ( x ) = { 1 b − a , a < x < b 0 , f(x) = \{ \begin{matrix} & \frac{1}{b - a},a < x< b \\ & 0, \\ \end{matrix} f(x)={​b−a1​,a<x<b0,​

(5) 正态分布:$N(\mu ,{\sigma }^2):$ $\phi (x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{(x-\mu )}^2}{2{\sigma }^2}},\sigma >0,\infty <x<+\infty$

(6)指数分布: E ( λ ) : f ( x ) = { λ e − λ x , x > 0 , λ > 0 0 , E(\lambda):f(x) =\{ \begin{matrix} & \lambda e^{-{λx}},x > 0,\lambda > 0 \\ & 0, \\ \end{matrix} E(λ):f(x)={​λe−λx,x>0,λ>00,​

(7)几何分布:$G(p):P(X=k)={(1-p)}^{k-1}p,0<p<1,k=1,2,\cdots .$

(8)超几何分布: $H(N,M,n):P(X=k)=\frac{C_M^k{C}_{N-M}^{n-k}}{C_N^n},k=0,1,\cdots ,min(n,M)$

6.随机变量函数的概率分布

(1)离散型：$P(X=x_1)=p_i,Y=g(X)$

则: $P(Y=y_j)={\sum }_{g(x_i)=y_i}^{}P(X=x_i)$

(2)连续型：$X\stackrel{~}{}{f}_X(x),Y=g(x)$

则:$F_y(y)=P(Y\le y)=P(g(X)\le y)={\int }_{g(x)\le y}^{}{f}_x(x)dx$， $f_Y(y)=F_Y^{\prime }(y)$

7.重要公式与结论

(1) $X\sim N(0,1)\Rightarrow \phi (0)=\frac{1}{\sqrt{2\pi }},\Phi (0)=\frac{1}{2},$ $\Phi (-a)=P(X\le -a)=1-\Phi (a)$

(2) $X\sim N\left(\mu ,{\sigma }^2\right)\Rightarrow \frac{X-\mu }{\sigma }\sim N\left(0,1\right),P(X\le a)=\Phi (\frac{a-\mu }{\sigma })$

(3) $X\sim E(\lambda )\Rightarrow P(X>s+t|X>s)=P(X>t)$

(4) $X\sim G(p)\Rightarrow P(X=m+k|X>m)=P(X=k)$

(5) 离散型随机变量的分布函数为阶梯间断函数；连续型随机变量的分布函数为连续函数，但不一定为处处可导函数。

(6) 存在既非离散也非连续型随机变量。

多维随机变量及其分布

1.二维随机变量及其联合分布

由两个随机变量构成的随机向量$(X,Y)$， 联合分布为$F(x,y)=P(X\le x,Y\le y)$

2.二维离散型随机变量的分布

(1) 联合概率分布律 P { X = x i , Y = y j } = p i j ; i , j = 1 , 2 , ⋯ P\{ X = x_{i},Y = y_{j}\} = p_{{ij}};i,j =1,2,\cdots P{X=xi​,Y=yj​}=pij​;i,j=1,2,⋯

(2) 边缘分布律 $p_{i\cdot }={\sum }_{j=1}^{\infty }{p}_{ij},i=1,2,\cdots$ $p_{\cdot j}={\sum }_i^{\infty }{p}_{ij},j=1,2,\cdots$

(3) 条件分布律 P { X = x i ∣ Y = y j } = p i j p ⋅ j P\{ X = x_{i}|Y = y_{j}\} = \frac{p_{{ij}}}{p_{\cdot j}} P{X=xi​∣Y=yj​}=p⋅j​pij​​
P { Y = y j ∣ X = x i } = p i j p i ⋅ P\{ Y = y_{j}|X = x_{i}\} = \frac{p_{{ij}}}{p_{i \cdot}} P{Y=yj​∣X=xi​}=pi⋅​pij​​

3. 二维连续性随机变量的密度

(1) 联合概率密度$f(x,y):$

1. $f(x,y)\ge 0$

2. ${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(x,y)dxdy=1$

(2) 分布函数：$F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)dudv$

(3) 边缘概率密度： $f_X\left(x\right)={\int }_{-\infty }^{+\infty }f\left(x,y\right)dy$ $f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)dx$

(4) 条件概率密度：$f_{X|Y}\left(x|y\right)=\frac{f\left(x,y\right)}{f_Y\left(y\right)}$ $f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$

4.常见二维随机变量的联合分布

(1) 二维均匀分布：$(x,y)\sim U(D)$ ,$f(x,y)=\{\begin{array}{l}\frac{1}{S(D)},(x,y)\in D\\ 0,其他\end{array}$

(2) 二维正态分布：$(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$,$(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$

$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}.\exp \left\{\frac{-1}{2(1-{\rho }^2)}[\frac{{(x-{\mu }_1)}^2}{{\sigma }_1^2}-2\rho \frac{(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{{(y-{\mu }_2)}^2}{{\sigma }_2^2}]\right\}$

5.随机变量的独立性和相关性

$X$和$Y$的相互独立:$\iff F\left(x,y\right)=F_X\left(x\right)F_Y\left(y\right)$:

$\iff p_{ij}=p_{i\cdot }\cdot p_{\cdot j}$（离散型）
$\iff f\left(x,y\right)=f_X\left(x\right)f_Y\left(y\right)$（连续型）

$X$和$Y$的相关性：

相关系数${\rho }_{XY}=0$时，称$X$和$Y$不相关，
否则称$X$和$Y$相关

6.两个随机变量简单函数的概率分布

离散型： $P\left(X=x_i,Y=y_i\right)=p_{ij},Z=g\left(X,Y\right)$ 则：

P ( Z = z k ) = P { g ( X , Y ) = z k } = ∑ g ( x i , y i ) = z k P ( X = x i , Y = y j ) P(Z = z_{k}) = P\left\{ g\left( X,Y \right) = z_{k} \right\} = \sum_{g\left( x_{i},y_{i} \right) = z_{k}}^{}{P\left( X = x_{i},Y = y_{j} \right)} P(Z=zk​)=P{g(X,Y)=zk​}=∑g(xi​,yi​)=zk​​P(X=xi​,Y=yj​)

连续型： $\left(X,Y\right)\sim f\left(x,y\right),Z=g\left(X,Y\right)$
则：

F z ( z ) = P { g ( X , Y ) ≤ z } = ∬ g ( x , y ) ≤ z f ( x , y ) d x d y F_{z}\left( z \right) = P\left\{ g\left( X,Y \right) \leq z \right\} = \iint_{g(x,y) \leq z}^{}{f(x,y)dxdy} Fz​(z)=P{g(X,Y)≤z}=∬g(x,y)≤z​f(x,y)dxdy，$f_z(z)=F_z^{\prime }(z)$

7.重要公式与结论

(1) 边缘密度公式： $f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy,$
$f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)dx$

(2) P { ( X , Y ) ∈ D } = ∬ D f ( x , y ) d x d y P\left\{ \left( X,Y \right) \in D \right\} = \iint_{D}^{}{f\left( x,y \right){dxdy}} P{(X,Y)∈D}=∬D​f(x,y)dxdy

(3) 若$(X,Y)$服从二维正态分布$N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$
则有：

1. $X\sim N\left({\mu }_1,{\sigma }_1^2\right),Y\sim N({\mu }_2,{\sigma }_2^2).$

2. $X$与$Y$相互独立$\iff \rho =0$，即$X$与$Y$不相关。

3. $C_{1}X+C_{2}Y\sim N(C_1{\mu }_1+C_2{\mu }_2,C_1^2{\sigma }_1^2+C_2^2{\sigma }_2^2+2C_1{C}_2{\sigma }_1{\sigma }_2\rho )$

4. $X$关于$Y=y$的条件分布为： $N({\mu }_1+\rho \frac{{\sigma }_1}{{\sigma }_2}(y-{\mu }_2),{\sigma }_1^2(1-{\rho }^2))$

5. $Y$关于$X=x$的条件分布为： $N({\mu }_2+\rho \frac{{\sigma }_2}{{\sigma }_1}(x-{\mu }_1),{\sigma }_2^2(1-{\rho }^2))$

(4) 若$X$与$Y$独立，且分别服从$N({\mu }_1,{\sigma }_1^2),N({\mu }_1,{\sigma }_2^2),$
则：$\left(X,Y\right)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,0),$

$C_{1}X+C_{2}Y\stackrel{~}{}N(C_1{\mu }_1+C_2{\mu }_2,C_1^2{\sigma }_1^2{C}_2^2{\sigma }_2^2).$

(5) 若$X$与$Y$相互独立，$f\left(x\right)$和$g\left(x\right)$为连续函数， 则$f\left(X\right)$和$g(Y)$也相互独立。

随机变量的数字特征

1.数学期望

离散型： P { X = x i } = p i , E ( X ) = ∑ i x i p i P\left\{ X = x_{i} \right\} = p_{i},E(X) = \sum_{i}^{}{x_{i}p_{i}} P{X=xi​}=pi​,E(X)=∑i​xi​pi​；

连续型： $X\sim f(x),E(X)={\int }_{-\infty }^{+\infty }xf(x)dx$

性质：

(1) $E(C)=C,E[E(X)]=E(X)$

(2) $E(C_{1}X+C_{2}Y)=C_{1}E(X)+C_{2}E(Y)$

(3) 若$X$和$Y$独立，则$E(XY)=E(X)E(Y)$

(4)${\left[E(XY)\right]}^2\le E(X^2)E(Y^2)$

2.方差：$D(X)=E{\left[X-E(X)\right]}^2=E(X^2)-{\left[E(X)\right]}^2$

3.标准差：$\sqrt{D(X)}$，

4.离散型：$D(X)={\sum }_i^{}{\left[x_i-E(X)\right]}^2{p}_i$

5.连续型：$D(X)={{\int }_{-\infty }^{+\infty }\left[x-E(X)\right]}^{2}f(x)dx$

性质：

(1)$D(C)=0,D[E(X)]=0,D[D(X)]=0$

(2) $X$与$Y$相互独立，则$D(X\pm Y)=D(X)+D(Y)$

(3)$D\left(C_{1}X+C_2\right)=C_1^{2}D\left(X\right)$

(4) 一般有 $D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)=D(X)+D(Y)\pm 2\rho \sqrt{D(X)}\sqrt{D(Y)}$

(5)$D\left(X\right)<E{\left(X-C\right)}^2,C\ne E\left(X\right)$

(6)   D ( X ) = 0 ⇔ P { X = C } = 1 \ D(X) = 0 \Leftrightarrow P\left\{ X = C \right\} = 1  D(X)=0⇔P{X=C}=1

6.随机变量函数的数学期望

(1) 对于函数$Y=g(x)$

$X$为离散型： P { X = x i } = p i , E ( Y ) = ∑ i g ( x i ) p i P\{ X = x_{i}\} = p_{i},E(Y) = \sum_{i}^{}{g(x_{i})p_{i}} P{X=xi​}=pi​,E(Y)=∑i​g(xi​)pi​；

$X$为连续型：$X\sim f(x),E(Y)={\int }_{-\infty }^{+\infty }g(x)f(x)dx$

(2) $Z=g(X,Y)$; ( X , Y ) ∼ P { X = x i , Y = y j } = p i j \left( X,Y \right)\sim P\{ X = x_{i},Y = y_{j}\} = p_{{ij}} (X,Y)∼P{X=xi​,Y=yj​}=pij​; $E(Z)={\sum }_i^{}{\sum }_j^{}g(x_i,y_j)p_{ij}$ $\left(X,Y\right)\sim f(x,y)$;$E(Z)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$

7.协方差

$Cov(X,Y)=E\left[(X-E(X)(Y-E(Y))\right]$

8.相关系数

${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$,$k$阶原点矩 $E(X^k)$;
$k$阶中心矩 $E\left\{{[X-E(X)]}^k\right\}$

性质：

(1)$Cov(X,Y)=Cov(Y,X)$

(2)$Cov(aX,bY)=abCov(Y,X)$

(3)$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

(4)$\left|\rho \left(X,Y\right)\right|\le 1$

(5) $\rho \left(X,Y\right)=1\iff P\left(Y=aX+b\right)=1$ ，其中$a>0$

$\rho \left(X,Y\right)=-1\iff P\left(Y=aX+b\right)=1$
，其中$a<0$

9.重要公式与结论

(1)$D(X)=E(X^2)-E^2(X)$

(2)$Cov(X,Y)=E(XY)-E(X)E(Y)$

(3) $\left|\rho \left(X,Y\right)\right|\le 1,$且 $\rho \left(X,Y\right)=1\iff P\left(Y=aX+b\right)=1$，其中$a>0$

$\rho \left(X,Y\right)=-1\iff P\left(Y=aX+b\right)=1$，其中$a<0$

(4) 下面5个条件互为充要条件：

$\rho (X,Y)=0$ $\iff Cov(X,Y)=0$ $\iff E(X,Y)=E(X)E(Y)$ $\iff D(X+Y)=D(X)+D(Y)$ $\iff D(X-Y)=D(X)+D(Y)$

注：$X$与$Y$独立为上述5个条件中任何一个成立的充分条件，但非必要条件。

数理统计的基本概念

1.基本概念

总体：研究对象的全体，它是一个随机变量，用$X$表示。

个体：组成总体的每个基本元素。

简单随机样本：来自总体$X$的$n$个相互独立且与总体同分布的随机变量$X_1,X_2\cdots ,X_n$，称为容量为$n$的简单随机样本，简称样本。

统计量：设$X_1,X_2\cdots ,X_n,$是来自总体$X$的一个样本，$g(X_1,X_2\cdots ,X_n)$）是样本的连续函数，且$g()$中不含任何未知参数，则称$g(X_1,X_2\cdots ,X_n)$为统计量。

样本均值：$\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i$

样本方差：$S^2=\frac{1}{n-1}{\sum }_{i=1}^n{(X_i-\overline{X})}^2$

样本矩：样本$k$阶原点矩：$A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k,k=1,2,\cdots$

样本$k$阶中心矩：$B_k=\frac{1}{n}{\sum }_{i=1}^n{(X_i-\overline{X})}^k,k=1,2,\cdots$

2.分布

${\chi }^2$分布：${\chi }^2=X_1^2+X_2^2+\cdots +X_n^2\sim {\chi }^2(n)$，其中$X_1,X_2\cdots ,X_n,$相互独立，且同服从$N(0,1)$

$t$分布：$T=\frac{X}{\sqrt{Y/n}}\sim t(n)$ ，其中$X\sim N\left(0,1\right),Y\sim {\chi }^2(n),$且$X$，$Y$ 相互独立。

$F$分布：$F=\frac{X/n_1}{Y/n_2}\sim F(n_1,n_2)$，其中$X\sim {\chi }^2\left(n_1\right),Y\sim {\chi }^2(n_2),$且$X$，$Y$相互独立。

分位数：若$P(X\le x_{\alpha })=\alpha ,$则称$x_{\alpha }$为$X$的$\alpha$分位数

3.正态总体的常用样本分布

(1) 设$X_1,X_2\cdots ,X_n$为来自正态总体$N(\mu ,{\sigma }^2)$的样本，

$\overline{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i,S^2=\frac{1}{n-1}{\sum }_{i=1}^n{(X_i-\overline{X})}^2,$则：

1. $\overline{X}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right)$或者$\frac{\overline{X}-\mu }{\frac{\sigma }{\sqrt{n}}}\sim N(0,1)$

2. $\frac{(n-1)S^2}{{\sigma }^2}=\frac{1}{{\sigma }^2}{\sum }_{i=1}^n{(X_i-\overline{X})}^2\sim {\chi }^2(n-1)$

3. $\frac{1}{{\sigma }^2}{\sum }_{i=1}^n{(X_i-\mu )}^2\sim {\chi }^2(n)$

4)$\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$

4.重要公式与结论

(1) 对于${\chi }^2\sim {\chi }^2(n)$，有$E({\chi }^2(n))=n,D({\chi }^2(n))=2n;$

(2) 对于$T\sim t(n)$，有$E(T)=0,D(T)=\frac{n}{n-2}(n>2)$；

(3) 对于$F\stackrel{~}{}F(m,n)$，有 $\frac{1}{F}\sim F(n,m),F_{a/2}(m,n)=\frac{1}{F_{1-a/2}(n,m)};$

(4) 对于任意总体$X$，有 $E(\overline{X})=E(X),E(S^2)=D(X),D(\overline{X})=\frac{D(X)}{n}$

以上内容来自百度AI Studio中《零基础入门深度学习》这门课，是预习内容和预备知识。感谢老师或班主任或助教或其他贡献者的整理。正如本文开篇所说，一个深入研究深度学习的数据科学家需要精通数学知识，但是仅仅做应用的话要求没有这么高，只在遇到问题的时候查一下本文或其他资料即可，毕竟术业有专攻，时间是有限的，我们总应该专注于当下最重要的事。

但是，如果有时间的话还是应该好好学习一下（复习一下）数学，因为数学是一切理工科的基础，决定了一个人在学术界和工业界的天花板。以下列出一些参考书籍和网课：

《数学分析教程》（常庚哲、史济怀，中国科学技术大学出版社）

《数学分析新讲》（张筑生，北京大学出版社）

《数学分析解题指南》（林源渠、方企勤，北京大学出版社）

中国大学MOOC-浙江大学-苏德矿-《微积分》

《高等代数简明教程》（蓝以中，北京大学出版社）

《高等代数学习指南》（蓝以中，北京大学出版社）

《概率论与数理统计》（盛骤、谢式千、潘承毅，高等教育出版社）