概率论常用公式

第一章

加法公式

$$P(A\cup B)=P(A)+P(B)-P(AB)$$

等可能概型（古典概型）

$$P(A)=\frac{k}{n}=\frac{A中包含的事件数}{S中基本事件的总数}$$

超几何分布

$$P=\frac{C_D^k{C}_{N_D}^{n-k}}{C_N^n}$$

事件A发生条件下事件B发生的概率

$$P(B|A)=\frac{P(AB)}{P(A)}$$

设$B_1,B_2\dots$互不相容，有

$$P(\bigcup _{i=1}^{\infty }{B}_i|A)=\sum _{i=1}^{\infty }P(B_i|A)$$

如

$$P(B_1\cup B_2|A)=P(B_1|A)P(A)+P(B_2|A)P(A)-P(B_1{B}_2)|P(A)$$

乘法原理

$$P(AB)=P(B|A)P(A)$$

设$B_1,B_2,\cdots ,B_n$为样本空间$S$的一个划分，则有

全概率公式

$$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+\cdots +P(A|B_n)P(B_n)$$

贝叶斯公式

$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum _{j=1}^{n}P(A|B_j)P(B_j)}$$

特别的，当$n=2$时，

$$P(A)=P(A|B)P(B)+P(A|\overline{B})P(\overline{B})$$

$$P(B|A)=\frac{P(AB)}{P(A)}=\frac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\overline{B})P(\overline{B})}$$

$A、B$相互独立时，有

$$P(AB)=P(B|A)P(A)=P(A)P(B)$$

从$n$个不同的元素中无放回抽取$m$个元素排成有序的一列时，得到

$$A_n^m=\frac{n!}{(n-m)!}$$

个不同的排列

从$n$个不同的元素中无放回抽取$m$个元素不论次序组成一组时，得到

$$C_n^m=\frac{n!}{m!(n-m)!}$$

个不同的组合

若$A\subset B$（注意是大减小）,则
$$P(B-A)=P(B)-P(A)$$

独立和相容可能同时发生

13/11/2021 09:56

第二章

离散型随机变量：全部可能的取值为有限个或可列无限个

二项分布（n重伯努利实验）：$X\sim b(n,p)$

P { X = k } = C n k p k q n − k , k = 0 , 1 , 2 , ⋯   , n P\{X=k\}=C^k_np^kq^{n-k},k=0, 1,2,\cdots,n P{X=k}=Cnk​pkqn−k,k=0,1,2,⋯,n

其中$q=1-p$

当$n=2$时，二项分布变为0-1分布：

P { X = k } = p k ( 1 − p ) 1 − k , k = 0 , 1 P\{X=k\}=p^k(1-p)^{1-k},k=0, 1 P{X=k}=pk(1−p)1−k,k=0,1

泊松分布：$X\sim \pi (\lambda )$
P { X = k } = λ k e − λ k ! P\{ X = k\} = \frac{{{\lambda ^k}{e^{ - \lambda }}}}{{k!}} P{X=k}=k!λke−λ​

当n充分大，p充分小时，可由泊松分布来估计二项分布，也就是有

$$C_n^k{p}^k(1-p{)}^{n-k}\approx \frac{{\lambda }^k{e}^{-\lambda }}{k!}$$

其中$\lambda =np$

分布函数

F ( x ) = P { X ≤ x } , − ∞ < x < + ∞ F(x)=P\{X\leq x\},-\infty <x<+\infty F(x)=P{X≤x},−∞<x<+∞

对任意实数$x_1<x_2$，有

P { x 1 < X ≤ x 2 } = P { X ≤ x 2 } − P { X ≤ x 1 } = F ( x 2 ) − F ( x 1 ) P\{x_1<X\leq x_2\}=P\{X\leq x_2\}-P\{X\leq x_1\}=F(x_2)-F(x_1) P{x1​<X≤x2​}=P{X≤x2​}−P{X≤x1​}=F(x2​)−F(x1​)

此性质可用来证明分布函数是不减函数

连续性随机变量:分布函数$F(x)$满足

$$F(x)={\int }_{-\infty }^{x}f(t)dt$$

称$f(x)$为$X$的概率密度函数，简称概率密度

有:

P { x 1 < X ≤ x 2 } = F ( x 2 ) − F ( x 1 ) = ∫ x 1 x 2 f ( x ) d x P\{x_1<X\leq x_2\}=F(x_2)-F(x_1)=\int _{x_1}^{x_2}f(x)dx P{x1​<X≤x2​}=F(x2​)−F(x1​)=∫x1​x2​​f(x)dx

$$F^{\prime }(x)=f(x)$$

对于连续型随机变量，其单个点的概率为0，即有

P { X = a } = 0 P\{X=a\}=0 P{X=a}=0

均匀分布$X\sim U(a,b)$:

$$f(x)=\{\begin{array}{lr}\frac{1}{b-a},& a<x<b\\ 0,& 其他\end{array}$$

$$F(x)=\{\begin{array}{lr}0,& x<a\\ \frac{x-a}{b-a},& a\le x<b\\ 1,& x\ge b\end{array}$$

指数分布：

$$f(x)=\{\begin{array}{lr}\frac{1}{\theta }{e}^{-\frac{x}{\theta }},& x>0\\ 0,& 其他\end{array}$$

$$F(x)=\{\begin{array}{lr}1-e^{-\frac{x}{\theta }},& x>0\\ 0,& 其他\end{array}$$

指数分布具有无记忆性，即有：

P { X > s + t ∣ X > s } = P { x > t } P\{X>s+t|X>s\}=P\{x>t\} P{X>s+t∣X>s}=P{x>t}

正态分布：$X\sim N(\mu ,{\sigma }^2)$

$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{(x-\mu )}^2}{2{\sigma }^2}},-\infty <x<+\infty$$

$$F(x)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^x{e}^{-\frac{{(t-\mu )}^2}{2{\sigma }^2}}dt$$

特别的，当$\mu =0,\sigma =1$的时候称随机变量$X$服从标准正态分布，其概率密度和分布函数分别用$\phi (x),\Phi (x)$表示，有

$$\phi (x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{x^2}{2}},-\infty <x<+\infty$$

$$\Phi (x)=\frac{1}{\sqrt{2\pi }\sigma }{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}dt$$

显然，有

$$\Phi (-x)=1-\Phi (x)$$

若有随机变量$X\sim N(\mu ,{\sigma }^2)$，则存在随机变量Z，使得

$$Z=\frac{X-\mu }{\sigma }\sim N(0,1)$$

求解随机变量的函数的分布时，比较通用的方法是先通过不等式变形由$F_X(x)$或$f_X(x)$求解$F_Y(y)$,再对$F_Y(y)$求导一次得到$f_Y(y)$

若$X$具有概率密度$f_X(x),-\infty <x<+\infty$,又设$X$到$Y$的变换$Y=g(X)$处处可导，处处单调，则$Y$的概率密度

$$f_Y(y)=\{\begin{array}{lr}{f}_X[h(y)]|h^{\prime }(y)|,& \alpha <y<\beta \\ 0,& 其他\end{array}$$

其中$h(y)$是$g(x)$的反函数

若有随机变量$X\sim N(\mu ,{\sigma }^2)$，则其线性函数$Y=aX+b$也服从正态分布

13/11/2021 16:14

第三章

（对于对称的结论，只给出一条，另一条可类似得出）

联合分布函数:设$(X,Y)$是二维随机变量，对于任意实数$x$，$y$，二元函数
F ( x , y ) = P { ( X ≤ x ) ∩ ( Y ≤ y ) } = P { X ≤ x , Y ≤ y } F(x,y)=P\{(X\leq x)\cap(Y\leq y) \}=P\{X\leq x, Y\leq y\} F(x,y)=P{(X≤x)∩(Y≤y)}=P{X≤x,Y≤y}
为$(X,Y)$的联合分布函数

联合分布可通俗理解为$(X,Y)$点到左下无限远处所围成的概率。

有
$$0\le F(x,y)\le 1$$
$$\forall 固定的y,F(-\infty ,y)=0$$
$$\forall 固定的x,F(x,-\infty )=0$$
$$F(-\infty ,-\infty )=0,F(+\infty ,+\infty )=1$$

对于$\forall (x_1,y_1),(x_2,y_2),x_1<x_2,y_1<y_2$，有
$$F(x_2,y_2)-F(x_2,y_1)+F(x_1,y_1)-F(x_1,y_2)\ge 0$$

14/11/2021 16:02

二维离散型随机变量：二维随机变量$(X,Y)$全部可能的取值是有限对或可列无限对

二维随机变量的联合分布律： P { X = x i , Y = y i } = p i j , i , j = 1 , 2 , ⋯ P\{X=x_i,Y=y_i\}=p_{ij},i,j=1,2,\cdots P{X=xi​,Y=yi​}=pij​,i,j=1,2,⋯

或者用表格表示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nKddJcCx-1637058108176)(:/c4a60e283b3243a3a2f472358ccdfb14)]

二维连续型随机变量：如果存在非负可积函数，使
$$F(x,y)={\int }_{-\infty }^y{\int }_{-\infty }^{x}f(u,v)dudv$$
则$(X,Y)$为二维连续型随机变量，$f(x,y)$为概率密度

有：
$${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(x,y)dxdy=F(+\infty ,+\infty )=1$$

$$\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}=f(x,y)$$
对$xOy$平面上的区域$G$，有

P { ( X , Y ) ∈ G } = ∬ G f ( x , y ) d x d y P\{ (X,Y) \in G\} = \iint\limits_G {f(x,y)dxdy} P{(X,Y)∈G}=G∬​f(x,y)dxdy

边缘分布函数:分布函数中令一个变量趋于无穷
$$F_X(x)=F(x,\infty )$$
$$F_Y(y)=F(\infty ,y)$$

离散型随机变量的边缘分布律：
p i ⋅ = ∑ j = 1 ∞ p i j = P { X = x i } {p_{i\cdot}} = \sum\limits_{j = 1}^\infty {{p_{ij}}} = P\{ X = {x_i}\} pi⋅​=j=1∑∞​pij​=P{X=xi​}

连续型随机变量的边缘分布函数：
$$F_X(x)=F(x,\infty )={\int }_{-\infty }^x[{\int }_{-\infty }^{\infty }f(x,y)dy]dx$$

连续型随机变量的边缘概率密度：
$$f_X(x)={\int }_{-\infty }^{\infty }f(x,y)dy$$

在$Y=y_i$(固定的)条件下随机变量$X$的条件分布律:
P { X = x i ∣ Y = y j } = P { X = x i , Y = y i } P { Y = y i } = p i j p ⋅ j P\{X=x_i|Y=y_j\}=\frac {P\{X=x_i,Y=y_i\}}{P\{Y=y_i\}}=\frac {p_{ij}}{p_{\cdot j}} P{X=xi​∣Y=yj​}=P{Y=yi​}P{X=xi​,Y=yi​}​=p⋅j​pij​​

连续型随机变量的条件概率密度:

$$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$$

连续型随机变量的条件分布函数:

F X ∣ Y ( x ∣ y ) = P { X ⩽ x ∣ Y = y } = ∫ − ∞ x f ( x , y ) f Y ( y ) d y {F_{X|Y}}(x|y) = P\{ X \leqslant x|Y = y\} = \int_{ - \infty }^x {\frac{{f(x,y)}}{{{f_Y}(y)}}dy} FX∣Y​(x∣y)=P{X⩽x∣Y=y}=∫−∞x​fY​(y)f(x,y)​dy

二维随机变量的均匀分布：

$$f(x，y)=\{\begin{array}{lr}\frac{1}{A},& (x,y)\in G\\ 0,& 其他\end{array}$$
其中$G$是平面上的有界区域，面积为$A$

相互独立的随机变量
$$F(x,y)=F_X(x)F_Y(y)$$

对连续型随机变量，还有
$$f(x,y)=f_X(x)f_Y(y)$$

对于两个随机变量：

$Z=X+Y$时
$$f_{X+Y}(z)={\int }_{-\infty }^{\infty }f(z-y,y)dy$$
若$X$，$Y$相互独立
$$f_{X+Y}(z)={\int }_{-\infty }^{\infty }{f}_X(z-y)f_Y(y)dy$$

$Z=\frac{Y}{X}$或$Z=XY$时
$$f_{\frac{Y}{X}}(z)={\int }_{-\infty }^{\infty }|x|f(x,xz)dx$$
$$f_{XY}(z)={\int }_{-\infty }^{\infty }\frac{1}{|x|}f(x,\frac{z}{x})dx$$

相互独立时

$$f_{\frac{Y}{X}}(z)={\int }_{-\infty }^{\infty }|x|f_X(x)f_Y(xz)dx$$
$$f_{XY}(z)={\int }_{-\infty }^{\infty }\frac{1}{|x|}{f}_X(x)f_Y(\frac{z}{x})dx$$

M = m a x { X , Y } M=max\{X,Y\} M=max{X,Y}和 N = m i n { X , Y } N=min\{X,Y\} N=min{X,Y}（重要）

（相互独立时）
$$F_{max}(z)=F_X(z)F_Y(z)$$
$$F_{min}(z)=1-[1-F_X(z)][1-F_Y(z)]$$

推广

对 M = m a x { X 1 , X 2 , ⋯   , X n } M=max\{X_1,X_2,\cdots,X_n\} M=max{X1​,X2​,⋯,Xn​}和 N = m i n { X 1 , X 2 , ⋯   , X n } N=min\{X_1, X_2, \cdots,X_n\} N=min{X1​,X2​,⋯,Xn​}
$$F_{max}(z)=F_{X_1}(z)F_{X_2}(z)\cdots F_{X_n}(z)$$
$$F_{min}(z)=1-[1-F_{X_1}(z)][1-F_{X_2}(z)]\cdots [1-F_{X_n}(z)]$$

同分布

$$F_{max}(z)=[F(z){]}^n$$
$$F_{min}(z)=1-[1-F(z){]}^n$$

15/11/2021 21:47

第四章

数学期望:表征变量的平均取值

（离散型）

$$E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k$$

当分布律的级数$\sum _{k=1}^{\infty }{x}_k{p}_k$绝对收敛时成立

（连续型）

$$E(X)={\int }_{-\infty }^{\infty }xf(x)dx$$

当概率密度做成的积分${\int }_{-\infty }^{\infty }xf(x)dx$绝对收敛时成立

设$Y=g(X)$,$g$是连续函数

（离散型）

$$E(Y)=E[g(X)]=\sum _{k=1}^{\infty }g(x_k)p_k$$

(连续型)

$$E(Y)=E[g(X)]={\int }_{-\infty }^{\infty }g(x)f(x)dx$$

对随机变量$Z=g(X,Y)$，$Z$是一维的，则可套用上面的公式，设$(X,Y)$的概率密度为$f(x,y)$,有：

$$E(Z)=E[g(X,Y)]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }g(x,y)f(x,y)dxdy$$

则对于单个二维随机变量的期望可以看作$Z=X$，从而有：
$$E(X)={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }xf(x,y)dxdy$$

对于离散型随机变量，有类似的结论：
$$E(Z)=E[g(X,Y)]=\sum _{j=1}^{\infty }\sum _{i=1}^{\infty }g(x_i,y_i)p_{ij}$$

(相互独立)
$$E(XY)=E(X)E(Y)$$

方差：表征变量与均值的偏离程度，实质上是均值$E(X)$的函数

D ( X ) = V a r ( X ) = E { [ X − E ( X ) ] 2 } D(X)=Var(X)=E\{[X-E(X)]^2\} D(X)=Var(X)=E{[X−E(X)]2}

(离散型)

$$D(X)=\sum _{k=1}^{\infty }[x_k-E(X){]}^2{p}_k$$

(连续型)

$$D(X)={\int }_{-\infty }^{\infty }[x-E(X){]}^{2}f(x)dx$$

有：

$$D(X)=E(X^2)-[E(X){]}^2$$

方差的性质：

• $D(C)=0$
• $D(CX)=C^{2}D(X)$，$D(X+C)=D(X)$
• D ( X + Y ) = D ( X ) + D ( Y ) + 2 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } D(X+Y)=D(X)+D(Y)+2E\{[X-E(X)][Y-E(Y)]\} D(X+Y)=D(X)+D(Y)+2E{[X−E(X)][Y−E(Y)]}
  ,特别的，当$X$，$Y$相互独立时，$D(X+Y)=D(X)+D(Y)$
• D ( X ) = 0 ⇔ P { X = E ( X ) } = 1 D(X)=0\Leftrightarrow P\{X=E(X)\}=1 D(X)=0⇔P{X=E(X)}=1

切比雪夫不等式：设随机变量$X$，$E(X)=\mu$，$D(X)={\sigma }^2$，则对$\forall \epsilon >0$
P { ∣ X − μ ∣ ≥ ε } ≤ σ 2 ε 2 P\{|X-\mu|\geq\varepsilon\}\leq\frac{\sigma^2}{\varepsilon^2} P{∣X−μ∣≥ε}≤ε2σ2​

重点掌握的六种分布（背下来）

分布	分布律/概率密度	$E(X)$	$D(X)$
(0-1)分布	P { X = k } = p k ( 1 − p ) 1 − k P\{X=k\}=p^k(1-p)^{1-k} P{X=k}=pk(1−p)1−k $k=0,1$	$p$	$p(1-p)$
二项分布 $X\sim b(n,p)$	P { X = k } = C n k p k q n − k P\{X=k\}=C^k_np^kq^{n-k} P{X=k}=Cnk​pkqn−k $k=0,1,2,\cdots ,n$	$np$	$np(1-p)$
泊松分布 $X\sim \pi (\lambda )$	P { X = k } = λ k e − λ k ! P\{ X = k\} = \frac{{{\lambda ^k}{e^{ - \lambda }}}}{{k!}} P{X=k}=k!λke−λ​	$\lambda$	$\lambda$
均匀分布 $X\sim U(a,b)$	$f(x)=\{\begin{array}{lr}\frac{1}{b-a},& a<x<b\\ 0,& 其他\end{array}$	$\frac{a+b}{2}$	$\frac{(b-a{)}^2}{12}$
指数分布	$f(x)=\{\begin{array}{lr}\frac{1}{\theta }{e}^{-\frac{x}{\theta }},& x>0\\ 0,& 其他\end{array}$	$\theta$	${\theta }^2$
正态分布 $X\sim N(\mu ,{\sigma }^2)$	$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{(x-\mu )}^2}{2{\sigma }^2}}$ $-\infty <x<+\infty$	$\mu$	${\sigma }^2$

协方差：
C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\} Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}

相关系数:
$${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

有：
$$Cov(X,X)=D(X)$$
$$Cov(X,Y)=E(XY)-E(X)E(Y)$$
$$Cov(aX,bY)=abCov(X,Y)$$
$$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$$
$$|{\rho }_{XY}|\le 1$$
∣ ρ X Y ∣ = 1 ⇔ ∃ a , b ∈ R , P { Y = a + b X } = 1 |\rho_{XY}|=1\Leftrightarrow\exist a,b\in\mathbb{R},P\{Y=a+bX\}=1 ∣ρXY​∣=1⇔∃a,b∈R,P{Y=a+bX}=1

当${\rho }_{XY}=0$时，称$X$和$Y$不（线性）相关

不相关和相互独立不一样,相互独立$\Rightarrow$不相关，不相关$\nRightarrow$相互独立

但是对于二维正态分布，相互独立$\iff$不相关