概率论知识点总结

概率论知识点总结

第一章：概率论的基本概念

1、样本空间：对于随机试验来说，由于可以事先明确试验所有可能的结果，因此称随机试验所有可能结果的集合为随机试验的样本空间，记为$\Omega$。称随机试验中一个可能结果为一个样本点，记为$\omega$，从而样本空间就是样本点的集合，即 Ω = { ω } \Omega=\{ \omega \} Ω={ω}。
2、随机事件：一般的，称随机试验的样本空间$\Omega$的子集为随机试验的随机事件，简称事件。在每次实验中，当且仅当随机事件所包含的样本点重点一个样本点出现时，称为这一事件发生。特别的，有一个样本点组成的单点集，称为基本事件。
3、事件的运算与关系：
Ⅰ.事件的运算
1）和事件：称事件A与事件B中至少有一个发生的事件为事件A和B的和事件。记作$A\cup B$
2）积事件：称事件A和事件B同时发生的事件为A事件与B事件的积事件。记为$A\cap B$
3）差事件：称事件A发生而事件B不发生的事件为事件A和事件B的差事件。记为$A-B$
4）运算律：
吸收律：$若A\subset B，则A\cup B=B，AB=A$
交换律：$若A\cup B=B\cup A，AB=BA$
结合律：$若A\cup (B\cup C)=(A\cup B)\cup C，A(BC)=(AB)C$
分配律：$若A(B\cup C)=AB\cup AC，A\cup (BC)=(A\cup B)(A\cup C)$
对偶律：$\overline{{\cup }_{i=1}^n{A}_i}={\cap }_{i=1}^n\overline{A_i}，\overline{{\cap }_{i=1}^n{A}_i}={\cup }_{i=1}^n\overline{A_i}$
Ⅱ.事件的关系
1）包含关系：设A与B事件，如果A事件的发生必然导致事件B的发生则称事件B包含事件A，或称事件A是事件B的子事件，记为$A\subset B$
2）相等关系：设A与B事件，如果$A\subset B$且$B\subset A$，则称事件A与事件B相等，记为$A=B$
3）互不相容（互斥）关系：设A与B事件，如果事件A和事件B同时发生是不可能的，即$AB=\varnothing$，则称事件A与事件B是互不相容的
4）对立关系：设A与B事件，如果$A\cup B=\Omega$且$AB=\varnothing$，则称事件A与事件B是相互对立的，称事件B是事件A的逆事件或对立事件，记为$\overline{A}$
4、概率：
$P(\varnothing )=0$
$P({\cup }_{i=1}^n{A}_i)={\Sigma }_{i=1}^{n}P(A_i)$
$P(B-A)=P(B)-P(A)$
$P(A)\le 1$
$P(\overline{A})=1-P(A)$
$P(A\cup B)=P(A)+P(B)-P(AB)$
${\lim }_{n\to \infty }P(A_n)=P({\cup }_{n=1}^{\infty }{A}_n)$
${\lim }_{n\to \infty }P(A_n)=P({\cap }_{n=1}^{\infty }{A}_n)$
5、古典概型（几何概率）
设随机试验的样本空间 Ω = { ω 1 、 ω 2 、 ω 3 、 ω 4 ⋯ ω n } \Omega=\{ \omega_1、\omega_2、\omega_3、\omega_4 \cdots \omega_n\} Ω={ω1​、ω2​、ω3​、ω4​⋯ωn​}，n为有限的正整数，且每个基础事件（两两互不相容的事件）${\omega }_i(i=1、2、3、4\cdots ，n)$发生的可能性相同，则称这种随机试验为古典概型，或称等可能概型。
计算公式：$P(A)=\frac{k}{n}=\frac{有利于事件A发生的基本事件数}{\Omega 中基本事件的总数}$
6、条件概率和概率的三大公式
$P(B|A)=\frac{P(AB)}{P(A)}$
1）乘法公式：$P(AB)=P(A|B)P(B)=P(B|A)P(A)$
2）全概率公式：
$P(A)={\Sigma }_{i=1}^{n}P(B_i)P(A|B_i)$
$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{{\Sigma }_{j=1}^{n}P(B_j)P(A|B_j)}$
7、事件的独立性
1）$P(AB)=P(A)P(B)$
2）Ａ，B相互独立，A的运算与B的运算也相互独立
3）Ａ，B，C相互独立，A,B,C任意两者的运算和第三事件的运算相互独立。若事件$A_1,A_2\cdots A_n$相互独立，则其两两独立，但反之不然。
4）$A_1,A_2\cdots A_n$相互独立，则
①其中任意k个事件也相互独立
②将其中任意K个事件换成它们各自的对立事件，所得到的n个事件也相互独立
③将$A_1,A_2,\cdots ,A_n$任意分为k个没有相同事件的不同小组，并对每个小组中的事件施以和、积、差、逆运算后，所得到的k个事件也相互独立。

第二章：随机变量及其分布

1、随机变量的分布函数
设X是一个随机变量，称函数$F(x)=P(X\le x)$为随机变量X的分布函数。
从几何上看，如果把X看成数轴上的随机点坐标，那么分布函数F（x）就是在x处的函数值就表示X落在区间$（-\infty ,x]$上的（即随机点落在点x的左边）概率。
1）$P(x_1<X\le x_2)=F(x_2)-F(x_1)$
2）$0\le F(x)\le 1$且$F（-\infty ）=0,F(+\infty )=1$
3）F（x）函数是单调不递减函数
4）F（x）是右连续的，即$F（x+0）=F(x)$
2、离散型随机变量的分布律
设X是离散型随机变量，其可能的取值为$x_1,x_2,\cdots ，x_i\cdots$，称$P(X=X_i)=p_i，i=1，2，\cdots$为X的分布律。【可能值+可能值出现概率】
或表示为

X	$x_1$	$x_2$	$\cdots$	$x_i$	$\cdots$
P	$p_1$	$p_2$	$\cdots$	$p_i$	$\cdots$

求离散型随机变量X的分布律，其方法是：X可能的取值便是分布函数F（x）的间断点（分界点）$x_i(i=1,2,\cdots )$，从而X的分布律为$p_i=P(X=x_i)=F(x_i+0)-F(x_i-0)=F(x_i)-F(x_i-0)$
3、几种重要的离散型随机变量
1）0-1分布
离散型随机变量X只能取0和1两个值，他的分布律为
$$P(X=k)=p^k(1-p{)}^{1-k}，0<p<1，k=0,1$$
2）二项分布(记为X~$B（n，p）$)
离散型随机变量X的分布律为
$$P(X=k)=C_n^k{p}^k{q}^{n-k}，q=1-p，k=0，1，2，\cdots ，n$$
3）Poisson分布(记为X~$P(\lambda )$)
离散型随机变量X的分布律为
$$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }，\lambda >0，k=0,1,2,\cdots$$
[Poisson定理]：设$\lambda >0$是一个常数，n是任意的正整数，$np=\lambda$，则对任意固定的非负整数k，有${\lim }_{n\to \infty C_n^k{p}^k(1-p{)}^{n-k}}=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$
4）几何分布
离散型随机变量X的分布律为
$$P(X=k)=q^{k-1}p，k=1，2，\cdots ，0<p<1,q=1-p$$
5）超几何分布(记为X~$h(N,n,k)$)
若从N件产品，其中有M件次品中，任取n件，则随机变量X的分布律为 P ( X = k ) = C M k C N − M n − k C M k ， k = 0 ， 1 ， 2 ， ⋯ ， m i n { M ， n } P(X=k)=\frac{C_M^kC_{N-M}^{n-k}}{C^k_M}，k = 0，1，2，\cdots，min\{M，n\} P(X=k)=CMk​CMk​CN−Mn−k​​，k=0，1，2，⋯，min{M，n}
当$N\to \infty$时，$\frac{M}{N}\to p$，则${\lim }_{N\to \infty }\frac{C_M^k{C}_{N-M}^{n-k}}{C_N^n}={\lim }_{N\to \infty }P(X=k)=C_n^k{p}^k{q}^{n-k}$
4、连续性随机变量的概率密度
设X是随机变量，其分布函数为F（x），如果存在非负可积函数f(x)，使得$F（x）={\int }_{-\infty }^{x}f(t)dt，-\infty <x<+\infty$则称X为连续型随机变量，称f(x)为X的概率密度函数，简称概率密度。
$f(x)>=0$
${\int }_{-\infty }^{+\infty }f(x)dx=1$
$P(a<X\le b)={\int }_a^{b}f(x)dx=1$
在f(x)的连续点x处，有$F^{\prime }(x)=f(x)$
[不可能事件的概率是零，但概率是零的事件未必是不可能事件]
5、几种重要的连续型随机变量
1）均匀分布
若连续型随机变量X的概率密度为
$$f(x)=\frac{1}{b-a},a<x<b;0,其他$$
则称X在区间（a,b）上服从均匀分布，记为X~U（a,b）
2）正态分布
若连续型随机变量X的概率密度为
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
其中，$\mu 、\sigma$为常数，则称X服从参数为$\mu 、{\sigma }^2$的正态分布或高斯分布Gauss，记为X~$N(\mu ,{\sigma }^2)$
把X~N（0，1）称作标准正态分布，即$f(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$
若X~N（$\mu ,{\sigma }^2$）把$Z=\frac{X-\mu }{\sigma }$~N(0,1)，称作Z为X的标准化
对于X~N（$\mu ,{\sigma }^2$）,则
$$F(x)=\Phi (\frac{x-\mu }{\sigma })$$
$$\forall x_1<x_2,P(x_1<X\le x_2)=\Phi (\frac{x_2-\mu }{\sigma })-\Phi (\frac{x_1-\mu }{\sigma })$$
3）指数分布
若连续型随机变量X的概率密度为
$$f(x)=\lambda e^{-\lambda x},x>0;0,x\le 0$$
其中，$\lambda >0$为常数，则称X服从参数为$\lambda$的指数分布，记为X~E（$\lambda$）
指数分布具有无记忆性，即$P(X>s+t|X>s)=P(X>t)$
6、随机变量函数及其分布
离散型随即变量的函数的分布按照$x_i$依次列写
连续性随机变量的函数其概率密度求法：
1、分布函数法
即$y=2x+1$ → $x=\frac{y-1}{2}$，然后积分
2、公式法
$f_y(y)=f_x(h(y))|h^{{}^{\prime }}(y)|，y\subseteq I;0，其他$
其中：x=h(y)是y=g(x)的反函数；I是使得$f_x(h(y))>0$，$h(y)和h^{{}^{\prime }}(y)$有意义的y的集合

第三章 多维随机变量及其分布

1、联合分布函数及其性质
设（X，Y）是二维随机变量，称二元函数
$$F(x,y)=P(X\le x,Y\le y)，x、y\subseteq R$$
为二维随机变量（X，Y）的联合分布函数
性质：
对于二维随机变量（X，Y）的联合分布函数，则$P(x_1<X\le x_2,y_1<Y\le y_2)=F(x2,y2)-F(x1,y2)-F(x2,y1)+F(x1,y1)$
类比一维（线）到二维（面）的长度（面积）计算推广形式
$F(-\infty ，y)=F(x，-\infty )=F(-\infty ，\infty )=0$
$F(+\infty ，+\infty )=1$
$固定y，F(x+0,y)=F(x,y)；固定x，F(x,y+0)=F(x,y)$
2、二维离散型随机变量的联合分布律
表示为
$$P(X=x_i,Y=y_j)=p_{ij},i,j=1,2\cdots$$
或

$x/y$	$y_1$	$y_2$	$\cdots$	$y_j$	$\cdots$
$x_1$	$p_{11}$	$p_{12}$	$\cdots$	$p_{1j}$	$\cdots$
$x_2$	$p_{21}$	$p_{22}$	$\cdots$	$p_{2j}$	$\cdots$
$\cdots$	$\cdots$	$\cdots$	$\cdots$	$\cdots$	$\cdots$
$x_i$	$p_{i1}$	$p_{i2}$	$\cdots$	$p_{ij}$	$\cdots$
$\cdots$	$\cdots$	$\cdots$	$\cdots$	$\cdots$	$\cdots$

3、二维连续型随机变量及其联合概率密度
设（X，Y）是二维随机变量，其联合分布函数为F（x，y），如果存在非负可积函数f(x,y)，使得
$$F(x,y)={\int }_{-\infty }^x{\int }_{{}_{\infty }}^{y}f(u,v)dudv，x,y\subseteq R$$
则称（X，Y）为二维连续型随机变量，称f(x,y)为（X，Y）的联合概率密度函数，简称联合概率密度
性质：
$$F(x,y\subseteq G)={\iint }_{G}f(x,y)dxdy$$
在f(x,y)的连续点上，$\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}=\frac{{\partial }^{2}F(x,y)}{\partial y\partial x}=f(x,y)$
4、几种重要的二维连续型随机变量
二维均匀分布
若二维连续型随机变量（X，Y）的联合概率密度为
$$f(x,y)=\frac{1}{A}，(x,y)\subseteq G;0,其他$$
其中，A为区域G的面积，则称（X，Y）在G区域上均匀分布，记为（X，Y）~U（G）
这种分布等价于平面区域上的几何概率
二维正态分布
若连续型随机变量(X，Y)的联合概率密度为
$$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{}1-{\rho }^2}{e}^{-\frac{1}{2(1-{\rho }^2)}[\frac{(x-{\mu }_1{)}^2}{{\sigma }_1^2}-2\rho \frac{(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(y-{\mu }_2{)}^2}{{\sigma }_2^2}]}$$
记为（X，Y）~N（${\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;\rho$）
5、边缘分布
设（X，Y）是二维随机变量，称
$$F_X(x)=P(X\le x)$$
$$F_Y(y)=P(Y\le y)$$
分别为（X，Y）关于X，Y的边缘分布函数
性质：
$F_X(x)=F(x,+\infty ),x\subseteq R$
$F_Y(y)=F(+\infty ,y),y\subseteq R$
$F_X(x)={\int }_{R}f(x,y)dy,x\subseteq R$
$F_Y(y)={\int }_{R}f(x,y)dx,y\subseteq R$
对于不同的二维联合分布，可能对应相同的边缘分布，故不能由边缘分布推出二位联合分布（如果变量独立那么允许唯一推出），反之可以。且对于二维正态分布，边缘分布均为正态分布的情况下，也不一定是二维正态分布。
6、条件概率
离散型随机变量的条件概率
对于固定的j：$P(X=x_i|Y=y_j)=\frac{p_{ij}}{p_{\cdot j}},i=1,2,3\cdots$
对于固定的i：$P(Y=y_j|X=x_i)=\frac{p_{ij}}{p_{i\cdot }},i=1,2,3\cdots$
连续型随机变量的条件概率
对于固定的y：$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$
对于固定的x：$f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$
7、二维随机变量函数及其分布

总结1：常见的随机变量分布

1）0-1分布
$$P(X=k)=p^k(1-p{)}^{1-k}，0<p<1，k=0,1$$
2）二项分布(记为X~$B（n，p）$)
$$P(X=k)=C_n^k{p}^k{q}^{n-k}，q=1-p，k=0，1，2，\cdots ，n$$
3）Poisson分布(记为X~$P(\lambda )$)
$$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }，\lambda >0，k=0,1,2,\cdots$$
4）几何分布
$$P(X=k)=q^{k-1}p，k=1，2，\cdots ，0<p<1,q=1-p$$
5）超几何分布(记为X~$h(N,M,n)$)
P ( X = k ) = C M k C N − M n − k C M k ， k = 0 ， 1 ， 2 ， ⋯ ， m i n { M ， n } P(X=k)=\frac{C_M^kC_{N-M}^{n-k}}{C^k_M}，k = 0，1，2，\cdots，min\{M，n\} P(X=k)=CMk​CMk​CN−Mn−k​​，k=0，1，2，⋯，min{M，n}
6）均匀分布(X~U（a,b）)
$$f(x)=\frac{1}{b-a},a<x<b;0,其他$$
7）正态分布（X~N（$\mu ,{\sigma }^2$））
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$
8）指数分布（X~E（$\lambda$））
$$f(x)=\lambda e^{-\lambda x},x>0;0,x\le 0$$
9）二维均匀分布（X~U(G)）
$$f(x,y)=\frac{1}{A}，(x,y)\subseteq G;0,其他$$
10）二维正态分布（（X，Y）~N（${\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;\rho$））
$$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{}1-{\rho }^2}{e}^{-\frac{1}{2(1-{\rho }^2)}[\frac{(x-{\mu }_1{)}^2}{{\sigma }_1^2}-2\rho \frac{(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(y-{\mu }_2{)}^2}{{\sigma }_2^2}]}$$

第四章：随机变量的数字特征

1、期望
$$EX=\Sigma x_i{p}_i(离散型)$$

$$EX={\int }_{-\infty }^{\infty }xf(x)dx(连续型)$$

$$EY=Eg(x)=\Sigma g(x_i)p_i(离散型随机变量函数)$$

$$EY=Eg(x)={\int }_{-\infty }^{\infty }g(x)f(x)dx(连续型随机变量函数)$$

$$EZ=Eg(X,Y)=\Sigma \Sigma g(x_i,y_i)p_{ij}(离散型二维随机变量)$$

$$EZ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }g(x,y)f(x,y)dxdy(连续型二维随机变量)$$
2、期望的性质
$$EC=C$$

$$ECX=CEX$$

$$EX+Y=EX+EY$$

$$EXY=EX\cdot EY$$
3、方差
$$DX=E(X-EX{)}^2$$

$$DX=E{X}^2-(EX{)}^2$$
4、方差的性质
$$DC=0$$

$$D(X+C)=DX$$

$$DX+Y=DX+DY(X,Y要求相互独立)$$

$$DX=0的充要条件是P（X=EX）=1$$
5、协方差和相关系数
$$cov(X,Y)=E(X-EX)(Y-EY)$$

$$cov(X,Y)=E(XY)-EX\cdot EY$$

$${\rho }_{XY}=\frac{cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$$
6、协方差和相关系数的性质
$$cov(X,X)=DX$$

$$cov(X,Y)=cov(Y,X)$$

$$cov(aX+b,cY+d)=ac\cdot cov(X,Y)$$

$$cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y)$$

$$D(X\pm Y)=DX+DY\pm 2cov(X,Y)$$

$$若EX和EY<\infty ，则[E(XY){]}^2\le E{X}^{2}E{Y}^2$$

$$|{\rho }_{XY}|\le 1$$

$$若X,Y相互独立且方差均大于零，则{\rho }_{XY}=0$$

$$|{\rho }_{XY}=1|的充要条件为存在常数a与b,使得P（Y=aX+b）=1$$

$$X,Y不相关的充要条件为cov(X,Y)=0,E(XY)=EX\cdot EY,D(X\pm Y)=DX+DY,D(X+Y)=D(X-Y)$$

7、矩
$$E{X}^k叫做X的k阶原点距$$

$$E(X-EX{)}^k叫做X的k阶中心矩$$

$$E{X}^k{Y}^l叫做XY的k+l阶混合原点距$$

$$E(X-EX{)}^k(Y-EY{)}^l叫做XY的k+l阶混合中心矩$$

第五章：大数定理及中心极限定理

1、切比雪夫不等式Chebyshev
$$P(|X-EX|\ge \epsilon )\le \frac{X}{{\epsilon }^2}$$

$$P(|X-EX|<\epsilon )\ge 1-\frac{X}{{\epsilon }^2}$$
2、Chebyshev大数定理
$$设X_1,X_2,\cdots X_n是相互独立的，具有相同的数学期望和方差，即E{X}_i=\mu ,D{X}_i={\sigma }^2，则任取\epsilon >0，有li{m}_{n->\infty }P(|\frac{1}{n}\Sigma X_i-\mu |\ge \epsilon )=0$$
更一般都形式：
$$设X_1,X_2,\cdots X_n是相互独立的，具有相同的数学期望，即E{X}_i=\mu ，若存在C>0,使D{X}_i\le C，则任取\epsilon >0，有li{m}_{n->\infty }P(|\frac{1}{n}\Sigma X_i-\mu |\ge \epsilon )=0$$
3、Markov大数定理
$$设X_1,X_2,\cdots X_n是随机变量序列，且li{m}_{n->\infty }\frac{1}{n^2}D\Sigma X_i=0，则任取\epsilon >0，有li{m}_{n->\infty }P(|\frac{1}{n}\Sigma X_i-\frac{1}{n}\Sigma E{X}_i|\ge \epsilon )=0$$
4、Khintchine大数定理
$$设X_1,X_2,\cdots X_n是相互独立且同分布的随机变量，具有有限的数学期望，即E{X}_i=\mu ，则任取\epsilon >0，有li{m}_{n->\infty }P(|\frac{1}{n}\Sigma X_i-\mu |\ge \epsilon )=0$$
5、Bernoulli大数定理
$$设n_A表示n重伯努利试验中事件A的发生次数，p是事件A在一次试验中发生地概率，即P(A)=p,则任取\epsilon >0，有li{m}_{n->\infty }P(|\frac{n_A}{n}-p|\ge \epsilon )=0$$
6、独立同分布中心极限定理Lindeberg-Levy
$$设X_1,X_2,\cdots X_n是相互独立且同分布的随机变量，E{X}_i=\mu ，D{X}_i={\sigma }^2，当n充分大时，\Sigma X_i近似服从以它的均值为均值，它的方差为方差的正态分布，即N(n\mu ,n{\sigma }^2)，故可以有P(a<\Sigma X_i<b)=\varphi (\frac{b-n\mu }{\sqrt{n}\sigma })-\varphi (\frac{a-n\mu }{\sqrt{n}\sigma })$$
7、Lyapunov中心极限定理
$$设X_1,X_2,\cdots X_n是相互独立的随机变量，E{X}_i={\mu }_i，D{X}_i={\sigma }_i^2，当n充分大时，\Sigma X_i近似服从以它的均值为均值，它的方差为方差的正态分布，即N(\Sigma {\mu }_i,\Sigma {\sigma }_i^2)，故可以有P(a<\Sigma X_i<b)=\varphi (\frac{b-\Sigma {\mu }_i}{\sqrt{\Sigma {\sigma }_i^2}})-\varphi (\frac{a-\Sigma {\mu }_i}{\sqrt{\Sigma {\sigma }_i^2}}))$$
8、De Moivre-Laplace(狄莫弗-拉普拉斯)中心极限定理
$$若X服从B（n，p），当n充分大时，X近似服从以它的均值为均值，它的方差为方差的正态分布，即N(np,np(1-p))，故可以有P(a<X<b)=\varphi (\frac{b-np}{\sqrt{np(1-p)}})-\varphi (\frac{a-np}{\sqrt{np(1-p)}}))$$