Kalman滤波学习笔记三《数学基础：概率论》

学习笔记参考：《Kalman滤波基础及MATLAB仿真》北京航空航天大学出版社——王可东编著
注：本篇笔记根据博主个人数学的掌握情况整理

一、概率
1、常用概率分布及其数学期望和方差

分布	分布列 $p_k$ 或分布密度 $p(x)$	期望	方差
$0-1$ 分布	$p_k=p^k(1-p{)}^{1-k},$    $k=0,1$	$p$	$p(1-p)$
二项分布 $b(n,p)$	$p_k=C_n^k{p}^k(1-p{)}^{n-k},$    $k=0,1,\cdots ,n$	$np$	$np(1-p)$
泊松分布 $P(\lambda )$	$p_k=\frac{{\lambda }^k}{k!}{e}^{-\lambda },$    $k=0,1,\cdots$	$\lambda$	$\lambda$
超几何分布 $h(n,N,M)$	$p_k=\frac{C_M^k{C}_{N-M}^{n-k}}{C_N^n},$    $k=0,1,\cdots ,r$  ( r = m i n { M , n } ) (r=min\{M,n\}) (r=min{M,n})	$n\frac{M}{N}$	$\frac{nM(N-M)(N-n)}{N^2(N-1)}$
几何分布 $Ge(p)$	$p_k=(1-p{)}^{k-1}p,$    $k=1,2,\cdots$	$\frac{1}{p}$	$\frac{1-p}{p^2}$
负二项分布 $Nb(r,p)$	$p_k=C_{k-1}^{r-1}(1-p{)}^{k-r}{p}^r,$    $k=r,r+1,\cdots$	$\frac{r}{p}$	$\frac{r(1-p)}{p^2}$
均匀分布 $U(a,b)$	$p(x)=\frac{1}{b-a},$    $a<x<b$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$
指数分布 $Exp(\lambda )$	$p(x)=\lambda e^{-\lambda x},$    $x\ge 0$	$\frac{1}{\lambda }$	$\frac{1}{{\lambda }^2}$
正态分布 $N(\mu ,{\sigma }^2)$	p ( x ) = 1 2 π σ e x p { − ( x − μ ) 2 2 σ 2 } , p(x)=\frac{1}{\sqrt{2\pi}\sigma}exp\{-{\frac{(x-\mu)^2}{2\sigma^2}}\}, p(x)=2π ​σ1​exp{−2σ2(x−μ)2​},    $-\infty <x<\infty$	$\mu$	${\sigma }^2$
对数正态分布 $LN(\mu ,{\sigma }^2)$	p ( x ) = 1 2 π σ x e x p { − ( l n x − μ ) 2 2 σ 2 } , p(x)=\frac{1}{\sqrt{2\pi}\sigma x}exp\{-{\frac{(lnx-\mu)^2}{2\sigma^2}}\}, p(x)=2π ​σx1​exp{−2σ2(lnx−μ)2​},    $x>0$	$e^{\mu +{\sigma }^2/2}$	$e^{2\mu +{\sigma }^2}(e^{{\sigma }^2}-1)$
伽马分布 $Ga(\alpha ,\lambda )$	$p(x)=\frac{{\lambda }^{\alpha }}{\Gamma (\alpha )}{x}^{\alpha -1}{e}^{-\lambda x},$    $x\ge 0$	$\frac{\alpha }{\lambda }$	$\frac{\alpha }{{\lambda }^2}$
贝塔分布 $Be(a,b)$	$p(x)=\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{x}^{a-1}(1-x{)}^{b-1},$    $0<x<1$	$\frac{a}{a+b}$	$\frac{ab}{(a+b{)}^2(a+b+1)}$
柯西分布 $Cau(\mu ,\lambda )$	$p(x)=\frac{1}{\pi }\frac{\lambda }{{\lambda }^2+(x-\mu {)}^2},$    $-\infty <x<\infty$	$不存在$	$不存在$
韦布尔分布	p ( x ) = d d x ( 1 − e x p { − ( x η ) m } ) , p(x)=\frac{d}{dx}(1-exp\{-(\frac{x}{\eta})^m\}), p(x)=dxd​(1−exp{−(ηx​)m}),    $x>0$	$\eta \Gamma (1+\frac{1}{m})$	${\eta }^2[\Gamma (1+\frac{2}{m})-{\Gamma }^2(1+\frac{1}{m})]$
卡方分布 ${\chi }^2(n)$	$p(x)=\frac{x^{n/2-1}{e}^{-x/2}}{\Gamma (n/2)2^{n/2}},$    $x\ge 0$	$n$	$2n$
$t$分布	$p(x)=\frac{\Gamma ((n+1)/2)}{\Gamma (n/2)\sqrt{n\pi }}(1+\frac{x^2}{n}{)}^{-\frac{n+1}{2}},$    $-\infty <x<\infty$	$0$ $(n\ge 2)$	$\frac{n}{n-2}$ $(n\ge 3)$
$F$分布	$p(x)=\frac{\Gamma ((m+n)/2)}{\Gamma (n/2)\Gamma (m/2)}{m}^{\frac{m}{2}}{n}^{\frac{n}{2}}{x}^{\frac{m}{2}-1}(n+mx{)}^{-\frac{m+n}{2}},$    $x>0$	$\frac{n}{n-2}$ $(n\ge 3)$	$\frac{2n^2(m+n-2)}{m(n-2{)}^2(n-4)}$ $(n\ge 5)$

2、几个概念的区分
① 互斥事件：若两事件 $A$ 和 $B$ 不能在同一次试验中都发生（但可以都不发生），则称它们是互斥的；如果一些事件中任意两个都互斥，则称这些事件是两两互斥的，或简称互斥的 。
② 对立事件：是互斥事件的一个重要情况，专指两个事件的关系。若 $A$ 为一事件，则事件 B = { A   d o e s   n o t   h a p p e n } B=\{A \ does \ not \ happen\} B={A does not happen} 称为 $A$ 的对立事件，记为 $\bar{A}$ 。
③ 独立事件：两个事件之间的独立性指：一个事件的发生不影响另一个事件的发生，即：$P(AB)=P(A)P(B)$ 。
④ 不相关事件：随机变量的协方差为 0 。

3、一些公式
① $A-B=A-AB=A\bar{B}$
② $P(A_1+A_2+A_3)=P(A_1)+P(A_2)+P(A_3)-P(A_1{A}_2)-P(A_2{A}_3)-P(A_3{A}_1)+P(A_1{A}_2{A}_3)$
③ $P(AB|C)=P(A|BC)P(B|C)$
④ 全概率公式：$P(A)={\sum }_{j=1}^{n}P(B_j)P(A|B_j)$
⑤ 贝叶斯公式：$P(B_i|A)=\frac{P(A{B}_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{{\sum }_{j=1}^{n}P(B_j)P(A|B_j)}$

4、两个结论
① $n$ 个人排成一圈的排法个数为：$(n-1)!$
② 将 $n$ 个相异的物件分成 $k$ 堆，各堆物件数分别为 $r_1,r_2,\cdots ,r_k$ 的分法个数为：$\frac{n!}{r_1!r_2!\cdots r_k!}$，其中 $r_1+r_2+\cdots +r_k=n$ 。

5、二维离散随机变量 $p_{ij}$
① p i j = P { X = x i , Y = y j } p_{ij}=P\{X=x_i,Y=y_j\} pij​=P{X=xi​,Y=yj​} ，${\sum }_{i=1}^{\infty }{\sum }_{j=1}^{\infty }{p}_{ij}=1$ ，$F(x,y)={\sum }_{x_i\le x}{\sum }_{y_i\le y}{p}_{ij}$ ；
② p i ⋅ = P { X = x i } = ∑ j = 1 ∞ p i j p_{i\cdot}=P\{X=x_i\}=\sum_{j=1}^\infty p_{ij} pi⋅​=P{X=xi​}=∑j=1∞​pij​ ， p ⋅ j = P { Y = y j } = ∑ i = 1 ∞ p i j p_{\cdot j}=P\{Y=y_j\}=\sum_{i=1}^\infty p_{ij} p⋅j​=P{Y=yj​}=∑i=1∞​pij​ ；
③ P { X = x i ∣ Y = y j } = p i j p ⋅ j P\{X=x_i|Y=y_j\}=\frac{p_{ij}}{p_{\cdot j}} P{X=xi​∣Y=yj​}=p⋅j​pij​​ ， P { Y = y j ∣ X = x i } = p i j p i ⋅ P\{Y=y_j|X=x_i\}=\frac{p_{ij}}{p_{i\cdot }} P{Y=yj​∣X=xi​}=pi⋅​pij​​ ；
④ P { ( X , Y ) ∈ G } = ∑ ( x i , y j ) ∈ G p i j P\{(X,Y)\in G\}=\sum_{(x_i,y_j)\in G} p_{ij} P{(X,Y)∈G}=∑(xi​,yj​)∈G​pij​ ；
⑤ 若 $X$ 与 $Y$ 独立，则 $p_{ij}=p_{i\cdot }{p}_{\cdot j}$ 。

6、二维连续随机变量 $f(x,y)$
① $F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)dudv$ ，$f(x,y)=\frac{{\partial }^{2}F}{\partial x\partial y}$ ；
② $F_X(x)=F(x,+\infty )$ ，$F_Y(y)=F(+\infty ,y)$ ；
③ $f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy$ ，$f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)dx$ ；
④ $f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$ ，$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$ ；
⑤ P { x 1 < X < x 2 , y 1 < Y < y 2 } = F ( x 2 , y 2 ) + F ( x 1 , y 1 ) − F ( x 1 , y 2 ) − F ( x 2 , y 1 ) P\{x_1<X<x_2,y_1<Y<y_2\}=F(x_2,y_2)+F(x_1,y_1)-F(x_1,y_2)-F(x_2,y_1) P{x1​<X<x2​,y1​<Y<y2​}=F(x2​,y2​)+F(x1​,y1​)−F(x1​,y2​)−F(x2​,y1​) ；
⑥ P { ( X , Y ) ∈ D } = ∬ ( x , y ) ∈ D f ( x , y ) d x d y P\{(X,Y)\in D\}=\iint_{(x,y)\in D}f(x,y)dxdy P{(X,Y)∈D}=∬(x,y)∈D​f(x,y)dxdy ；
⑦ $X$ 与 $Y$ 独立 $\iff F(x,y)=F_X(x)F_Y(y)\iff f(x,y)=f_X(x)f_Y(y)\iff f_{X|Y}(x|y)=f_X(x)\iff f_{Y|X}(y|x)=f_Y(y)$ 。

7、相互独立随机变量函数的分布
① 和的分布
设 $(X,Y)\sim f(x,y)$，则 $Z=X+Y$ 概率密度函数为：
$$f_Z(z)={\int }_{-\infty }^{+\infty }f(x,z-x)dx={\int }_{-\infty }^{+\infty }f(z-y,y)dy$$ 若 $X$ 与 $Y$ 独立，则有卷积公式：
$$f_Z(z)={\int }_{-\infty }^{+\infty }{f}_X(x)f_Y(z-x)dx={\int }_{-\infty }^{+\infty }{f}_X(z-y)f_Y(y)dy$$ ② 差的分布
设 $(X,Y)\sim f(x,y)$，则 $Z=X-Y$ 概率密度函数为：
$$f_Z(z)={\int }_{-\infty }^{+\infty }f(x,x-z)dx={\int }_{-\infty }^{+\infty }f(y+z,y)dy$$ 若 $X$ 与 $Y$ 独立，则有：
$$f_Z(z)={\int }_{-\infty }^{+\infty }{f}_X(x)f_Y(x-z)dx={\int }_{-\infty }^{+\infty }{f}_X(y+z)f_Y(y)dy$$ ③ 积的分布
设 $(X,Y)\sim f(x,y)$，则 $Z=XY$ 概率密度函数为：
$$f_Z(z)={\int }_{-\infty }^{+\infty }\frac{1}{\mid x\mid }f(x,\frac{z}{x})dx={\int }_{-\infty }^{+\infty }\frac{1}{\mid y\mid }f(\frac{z}{y},y)dy$$ 若 $X$ 与 $Y$ 独立，则有：
$$f_Z(z)={\int }_{-\infty }^{+\infty }\frac{1}{\mid x\mid }{f}_X(x)f_Y(\frac{z}{x})dx={\int }_{-\infty }^{+\infty }\frac{1}{\mid y\mid }{f}_X(\frac{z}{y})f_Y(y)dy$$ ④ 商的分布
设 $(X,Y)\sim f(x,y)$，则 $Z=X/Y$ 概率密度函数为：
$$f_Z(z)={\int }_{-\infty }^{+\infty }\mid y\mid f(yz,y)dy$$ 若 $X$ 与 $Y$ 独立，则有：
$$f_Z(z)={\int }_{-\infty }^{+\infty }\mid y\mid f_X(yz)f_Y(y)dy$$ ⑤ m a x { X , Y } max\{X,Y\} max{X,Y} 的分布
设 $(X,Y)\sim f(x,y)$，则 Z = m a x { X , Y } Z=max\{X,Y\} Z=max{X,Y} 概率分布函数为：
$$F_{max}(z)=F(z,z)$$ 若 $X$ 与 $Y$ 独立，则有：
$$F_{max}(z)=F_X(z)F_Y(z)$$ ⑥ m i n { X , Y } min\{X,Y\} min{X,Y} 的分布
设 $(X,Y)\sim f(x,y)$，则 Z = m i n { X , Y } Z=min\{X,Y\} Z=min{X,Y} 概率分布函数为：
$$F_{min}(z)=F_X(z)+F_Y(z)-F(z,z)$$ 若 $X$ 与 $Y$ 独立，则有：
$$F_{min}(z)=1-[1-F_X(z)][1-F_Y(z)]$$

8、常见分布的可加性
设 $X$ 与 $Y$ 独立，则：
① 若 $X\sim b(n,p)$，$Y\sim b(m,p)$，则 $X+Y\sim b(n+m,p)$ ；
② 若 $X\sim P({\lambda }_1)$，$Y\sim P({\lambda }_2)$，则 $X+Y\sim P({\lambda }_1+{\lambda }_2)$ ；
③ 若 $X\sim N({\mu }_1,{\sigma }_1^2)$，$Y\sim N({\mu }_2,{\sigma }_2^2)$，则 $aX+bY\sim N(a{\mu }_1+b{\mu }_2,a^2{\sigma }_1^2+b^2{\sigma }_2^2)$ ；
④ 若 $X\sim {\chi }^2(n)$，$Y\sim {\chi }^2(m)$，则 $X+Y\sim {\chi }^2(n+m)$ 。

9、两个例题
① $X$ 的分布函数为 $F(x)$ 且反函数存在，则随机变量 $Y=F(X)$ 的分布函数 $F(y)$ 为？
解：已知 F ( y ) = P { Y ≤ y } = P { F ( X ) ≤ y } F(y)=P\{Y\leq y\}=P\{F(X)\leq y\} F(y)=P{Y≤y}=P{F(X)≤y}，且 $F(X)\in (0,1)$，则：
当 $y<0$：$F(y)=0$； 当 $y\ge 1$：$F(y)=1$；
当 $0\le y<1$： F ( y ) = P { X ≤ F − 1 ( y ) } = F ( F − 1 ( y ) ) = y F(y)=P\{X\leq F^{-1}(y)\}=F(F^{-1}(y))=y F(y)=P{X≤F−1(y)}=F(F−1(y))=y 。
② $X\sim N(0,1)$，$Y\sim B(n,p)$，且 $X$ 与 $Y$ 独立，$Z=X+Y$，则 $F_Z(z)$ 为？
解： F Z ( z ) = P { X + Y ≤ z } = ∑ i = 0 n P { Y = i } P { X + Y ≤ z ∣ Y = i } = ∑ i = 0 n C n i p i ( 1 − p ) n − i P { X ≤ z − Y ∣ Y = i } F_Z(z)=P\{X+Y\leq z\}=\sum_{i=0}^nP\{Y=i\}P\{X+Y\leq z|Y=i\}=\sum_{i=0}^nC_n^ip^i(1-p)^{n-i}P\{X\leq z-Y|Y=i\} FZ​(z)=P{X+Y≤z}=∑i=0n​P{Y=i}P{X+Y≤z∣Y=i}=∑i=0n​Cni​pi(1−p)n−iP{X≤z−Y∣Y=i}
由于 $X$ 与 $Y$ 独立，则： F Z ( z ) = ∑ i = 0 n C n i p i ( 1 − p ) n − i P { X ≤ z − i } = ∑ i = 0 n C n i p i ( 1 − p ) n − i ∫ − ∞ z − i 1 2 π e − t 2 2 d t F_Z(z)=\sum_{i=0}^nC_n^ip^i(1-p)^{n-i}P\{X\leq z-i\}=\sum_{i=0}^nC_n^ip^i(1-p)^{n-i}\int_{-\infty}^{z-i}\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt FZ​(z)=i=0∑n​Cni​pi(1−p)n−iP{X≤z−i}=i=0∑n​Cni​pi(1−p)n−i∫−∞z−i​2π ​1​e−2t2​dt

10、一维连续随机变量的函数的分布
设连续随机变量 $X$ 概率密度为 $f(x)$ ，$y=g(x)$ 在 $(a,b)$ 上严格单调，其反函数 $x=h(y)$ 有连续导数，随机变量 $Y=g(X)$，则有：$$\Psi (n)=\{\begin{array}{ll}f(h(y))\cdot \mid h^{\prime }(y)\mid ,& \text{if y∈(c,d)}\\ 0,& \text{others}\end{array}$$其中 $(c,d)$ 为 $g(x)$ 的值域 。

11、期望    $E$
① 对于一维离散随机变量 p i = P { X = x i } p_i=P\{X=x_i\} pi​=P{X=xi​} ：
$$E(X)=\sum _{i=1}^{\infty }{x}_i{p}_i，E[g(X)]=\sum _{i=1}^{\infty }g(x_i)p_i$$对于二维离散随机变量 p i j = P { X = x i , Y = y j } p_{ij}=P\{X=x_i,Y=y_j\} pij​=P{X=xi​,Y=yj​} ：$$E[g(X,Y)]=\sum _{i=1}^{\infty }\sum _{j=1}^{\infty }g(x_i,y_j)p_{ij}$$ ② 对于一维连续随机变量 $X\sim f(x)$ ：
$$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx，E[g(X)]={\int }_{-\infty }^{+\infty }g(x)f(x)dx$$对于二维连续随机变量 $(X,Y)\sim f(x,y)$ ：$$E[g(X,Y)]={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$$ ③ $E({\sum }_{i=1}^n{a}_i{X}_i)={\sum }_{i=1}^n{a}_{i}E(X_i)$
④ 设 $X_1,\cdots ,X_n$ 相互独立：$E({\sum }_{i=1}^n{X}_i)={\sum }_{i=1}^{n}E(X_i)$，$E({\sum }_{i=1}^n{g}_i(X_i))={\sum }_{i=1}^{n}E(g_i(X_i))$

12、方差    $D$ 或 $Var$
① $D(X)=E[(X-EX{)}^2]=E(X^2)-(EX{)}^2$
② $D(X)\ge 0\Rightarrow E(X^2)\ge (EX{)}^2$
③ $D(X+Y)=DX+DY+2Cov(X,Y)$，$D(X-Y)=DX+DY-2Cov(X,Y)$
④ $D({\sum }_{i=1}^n{a}_i{X}_i)={\sum }_{i=1}^n{a}_i^{2}D(X_i)+2{\sum }_{1\le i\le j\le n}{a}_i{a}_{j}Cov(X_i,X_j)$
⑤ $\forall$ 常数 $c$，$D(X)\le E((X-c{)}^2)$
⑥ 设 $X_1,\cdots ,X_n$ 相互独立：$D({\sum }_{i=1}^n{a}_i{X}_i)={\sum }_{i=1}^n{a}_i^{2}D(X_i)$，$D({\sum }_{i=1}^n{g}_i(X_i))={\sum }_{i=1}^{n}D(g_i(X_i))$
⑦ $X^{\ast }=\frac{X-EX}{\sqrt{DX}}$ 是 $X$ 的标准化随机变量，$E{X}^{\ast }=0$，$D{X}^{\ast }=1$
⑧ 设随机变量 $X$ 的期望和方差均存在，且 $DX=0$，则 P { X = E X } = 1 P\{X=EX\}=1 P{X=EX}=1

13、协方差、协方差矩阵和相关系数    $Cov$、$\Sigma$ 和 $\rho$
① $Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EX\cdot EY$
② $Cov(X,Y)=Cov(Y,X)$，$Cov(X,X)=DX$，$Cov(X,c)=0$，其中 $c$ 为常数
③ $Cov({\sum }_{i=1}^n{a}_i{X}_i,Y)={\sum }_{i=1}^n{a}_{i}Cov(X_i,Y)$
④ $Cov(aX,bY)=abCov(X,Y)$
⑤ 设 $X=(X_1,\cdots ,X_n{)}^T$ 为 $n$ 维随机变量，若 $D{X}_i$ 存在，则 $\Sigma =(Cov(X_i,X_j){)}_{n\times n}$ 为协方差矩阵
⑥ 二维情况的协方差矩阵：$\Sigma =\left[\begin{array}{cc}Cov(X,X)& Cov(X,Y)\\ Cov(Y,X)& Cov(Y,Y)\end{array}\right]$
⑦ 相关系数 $\rho =\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$，$\rho =0\iff$ $X$ 与 $Y$ 不相关
⑧ 若随机变量 $\xi =aX+b$，$\eta =cY+d$，则 ${\rho }_{\xi \eta }=\frac{ac}{\mid ac\mid }{\rho }_{XY}$
⑨ $\mid {\rho }_{XY}\mid =1\iff \exists$ 常数 $a,b$ 使得 P { Y = a X + b } = 1 P\{Y=aX+b\}=1 P{Y=aX+b}=1，其中：$$a=\{\begin{array}{ll}\sqrt{\frac{DY}{DX}},& \text{if ρXY=1}\\ -\sqrt{\frac{DY}{DX}},& \text{if ρXY=−1}\end{array}，b=EY-aEX$$

14、矩
① $X$ 的 $k$ 阶（原点）矩：$E(X^k)={\int }_{-\infty }^{+\infty }{x}^{k}f(x)dx$
② $X$ 的 $k$ 阶中心矩：$E((X-EX{)}^k)$
③ 若 $X\sim N(\mu ,{\sigma }^2)$：
$k$ 为奇数时：$E(X-EX{)}^k=0$
$k$ 为偶数时：$E(X-EX{)}^k={\sigma }^k\cdot (k-1)\cdot (k-3)\cdot \cdots \cdot 3\cdot 1$

15、不等式
① $Cauchy-Schwarz$ 不等式：
$$\mid E(XY)\mid \le (E{X}^2{)}^{1/2}\cdot (E{Y}^2{)}^{1/2}$$ $$(E\mid X+Y{\mid }^2{)}^{1/2}\le (E{X}^2{)}^{1/2}+(E{Y}^2{)}^{1/2}$$ $$\mid Cov(X,Y)\mid \le \sqrt{DX}\cdot \sqrt{DY}$$ ② $Markov$ 不等式：设随机变量 $X$ 存在 $E\mid X{\mid }^k$ ，其中 $k>0$，则对任意 $ϵ>0$ 有： P { ∣ X ∣ ≥ ϵ } ≤ E ∣ X ∣ k ϵ k P\{\mid X\mid\geq\epsilon\}\leq\frac{E\mid X\mid^k}{\epsilon^k} P{∣X∣≥ϵ}≤ϵkE∣X∣k​ P { ∣ X − E X ∣ ≥ ϵ } ≤ E ∣ X − E X ∣ k ϵ k P\{\mid X-EX\mid\geq\epsilon\}\leq\frac{E\mid X-EX\mid^k}{\epsilon^k} P{∣X−EX∣≥ϵ}≤ϵkE∣X−EX∣k​ ③ $Chebyshev$ 不等式：设随机变量 $X$ 存在 $EX$ 和 $DX$，则对任意 $ϵ>0$ 有： P { ∣ X − E X ∣ ≥ ϵ } ≤ D X ϵ 2 P\{\mid X-EX\mid\geq\epsilon\}\leq\frac{DX}{\epsilon^2} P{∣X−EX∣≥ϵ}≤ϵ2DX​

16、依概率收敛与大数定律
① 设随机变量 $X$ 与随机变量序列 { X n } \{X_n\} {Xn​} $(n=1,2,\cdots )$ ，若对任意 $ϵ>0$ 有： lim ⁡ n → ∞ P { ∣ X n − X ∣ ≥ ϵ } = 0 或 lim ⁡ n → ∞ P { ∣ X n − X ∣ < ϵ } = 1 \lim_{n \to \infty}P\{\mid X_n-X\mid\geq\epsilon\}=0或\lim_{n \to \infty}P\{\mid X_n-X\mid<\epsilon\}=1 n→∞lim​P{∣Xn​−X∣≥ϵ}=0或n→∞lim​P{∣Xn​−X∣<ϵ}=1 则称 { X n } \{X_n\} {Xn​} 依概率收敛于 $X$ ，记为：$$\underset{n\to \infty }{\lim }{X}_n=X(P)或X_n\stackrel{P}{⟶}X(n\to \infty )$$ ② $Chebyshev$ 大数定律：
设 { X i } \{X_i\} {Xi​} $(i=1,2,\cdots ,n,\cdots )$ 是相互独立的随机变量序列，$D{X}_i$ 存在且有公共上界：$D{X}_i\le C$
令 $Y_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ ，则 $D{Y}_n=0(n\to \infty )$
对任意 $ϵ>0$ 有： P { ∣ Y n − E Y n ∣ < ϵ } = 1 ( n → ∞ ) P\{\mid Y_n-EY_n\mid<\epsilon\}=1(n\rightarrow\infty) P{∣Yn​−EYn​∣<ϵ}=1(n→∞)
③ $Bernoulli$ 大数定律：
设 ${\mu }_n$ 是 $n$ 重伯努利试验中事件 $A$ 发生的次数，每次试验中 $A$ 发生的概率为 $p$ ，则 $\frac{{\mu }_n}{n}\stackrel{P}{⟶}p(n\to \infty )$
即对任意 $ϵ>0$ 有： P { ∣ μ n n − p ∣ < ϵ } = 1 ( n → ∞ ) P\{\mid \frac{\mu_n}{n}-p\mid<\epsilon\}=1(n\rightarrow\infty) P{∣nμn​​−p∣<ϵ}=1(n→∞)
④ $Khinchin$ 大数定律：
设随机变量序列 $X_1,X_2,\cdots ,X_n,\cdots$ 独立同分布，且存在有限的数学期望 $E{X}_i=\mu$ ，则 $\frac{1}{n}{\sum }_{i=1}^n{X}_i\stackrel{P}{⟶}\mu (n\to \infty )$
即对任意 $ϵ>0$ 有： P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ϵ } = 1 ( n → ∞ ) P\{\mid \frac{1}{n}\sum_{i=1}^{n}X_i-\mu\mid<\epsilon\}=1(n\rightarrow\infty) P{∣n1​∑i=1n​Xi​−μ∣<ϵ}=1(n→∞)

17、中心极限定理
① $Lindberg-Levi$ 定理：
即独立同分布中心极限定理，设 { X i } \{X_i\} {Xi​} $(i=1,2,\cdots ,n,\cdots )$ 是独立同分布的随机变量序列，若 $E{X}_i=\mu$，$D{X}_i={\sigma }^2>0$
记 $Y_n={\sum }_{i=1}^n{X}_i$，标准化 $Y_n$ 为 $Y_n^{\ast }$，则：
P { Y n ∗ ≤ x } ( n → ∞ ) = ϕ ( x ) P\{Y_n^*\leq x\}(n\rightarrow\infty)=\phi(x) P{Yn∗​≤x}(n→∞)=ϕ(x)，即近似有 ${\sum }_{i=1}^n{X}_i\sim N(n\mu ,n{\sigma }^2)(n\to \infty )$
② $DeMoivre-Laplace$ 定理：
即二项分布以正态分布为其极限的分布定理，设 $Y_n\sim B(n,p)$ $(n\ge 1)$ ，则对任意实数 $x$ 有： lim ⁡ n → ∞ P { Y n − n p n p ( 1 − p ) ≤ x } = ϕ ( x ) = 1 2 π ∫ − ∞ x e − t 2 2 d t \lim_{n \to \infty}P\{\frac{Y_n-np}{\sqrt{np(1-p)}}\leq x\}=\phi(x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^xe^{-\frac{t^2}{2}}dt n→∞lim​P{np(1−p) ​Yn​−np​≤x}=ϕ(x)=2π ​1​∫−∞x​e−2t2​dt ③ 二项分布概率计算方法：
若 $n$ 不太大 $(n\le 10)$： P { X = k } = C n k p k ( 1 − p ) n − k P\{X=k\}=C_n^kp^k(1-p)^{n-k} P{X=k}=Cnk​pk(1−p)n−k
若 $n$ 较大 $p$ 较小：$\lambda =np$， P { X = k } ≈ λ k k ! e − λ P\{X=k\}\approx\frac{\lambda^k}{k!}e^{-\lambda} P{X=k}≈k!λk​e−λ
若 $n$ 较大 $p$ 不太大： P { a < X < b } = ϕ ( b − n p n p ( 1 − p ) ) − ϕ ( a − n p n p ( 1 − p ) ) P\{a<X<b\}=\phi(\frac{b-np}{\sqrt{np(1-p)}})-\phi(\frac{a-np}{\sqrt{np(1-p)}}) P{a<X<b}=ϕ(np(1−p) ​b−np​)−ϕ(np(1−p) ​a−np​)