概率论总结（《概率论与数理统计》第四版 浙江大学）

一、概率论的基本概率

1.随机试验

具有以下三个特点的实验成为随机试验：
1.可以在相同的条件下重复进行
2.每次试验的可能结不止一个，并且能事先明确试验的所有可能结果
3.进行一次试验之前不能确定哪一个结果会出现

2.样本空间、随机事件

2.1样本空间

我们将随机试验E的所有可能结果组成的集合称为E的样本空间，记为S。样本空间的元素，即E的每个结果，成为样本点

2.2随机事件

一般，我们称试验E的样本空间S的子集为E的随机事件，简称事件。在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生
特别，由一个样本点组成的单点集，成为基本事件
样本空间S包含所有的样本点，它是S自身的子集，在每次试验中它总是发生的，S成为必然事件，空集$\varnothing$不包含任何样本点，它也作为样本空间的子集，在每次试验中不发生，称为不可能事件

2.3事件间的关系与事件的运算

设试验E的样本空间为S，而A，B，A$$\begin{gathered} { \\ }_k \end{gathered}$$(k=1,2…)是S的子集
1.若A$\subset$B，则称事件B包含事件A，若A$\subset$B且B$\subset$A，则A=B，事件A与事件B相等
2.事件A$\cup$B成为事件A与B的和事件，类似地，称${\cup }_{k=1}^n{A}_k$为n个事件A$$\begin{gathered} { \\ }_1 \end{gathered}$$, A$$\begin{gathered} { \\ }_2 \end{gathered}$$…, A$$\begin{gathered} { \\ }_n \end{gathered}$$的和事件；称${\cup }_{k=1}^{\infty }{A}_k$为可列个事件A$$\begin{gathered} { \\ }_1 \end{gathered}$$, A$$\begin{gathered} { \\ }_2 \end{gathered}$$…的和事件
3.事件A$\cap$B成为事件A与B的积事件
4.事件A-B为事件A与B的差事件
5.若A$\cap$B=$\varnothing$,则称事件A与B是互不相容的，或互斥的，A与B不能同时发生
6.若A$\cup$B=S且A$\cap$B=$\varnothing$，则称A与B互为逆事件，又称A与B互为对立事件。对于每次试验，A与B必有且仅有一个发生

计算定律：
交换律：A$\cup$B=B$\cup$A；A$\cap$B=B$\cap$A
结合律：A$\cup$(B$\cup$C)=(A$\cup$B)$\cup$C;
A$\cap$(B$\cap$C)=(A$\cap$B)$\cap$C;
分配律：A$\cup$(B$\cap$C)=(A$\cup$B)$\cap$(A$\cup$C);
A$\cap$(B$\cup$C)=(A$\cap$B)$\cup$(A$\cap$C)
德摩根定律：$\overline{A\cup B}$=$\bar{A}\cap \bar{B}$;
$\overline{A\cap B}$=$\bar{A}\cup \bar{B}$

3.频率与概率

3.1频率

在相同的条件下，进行了n次试验，在这n次试验中，事件A发生的次数$n_A$称为事件A发生的频数，$n_A/n$称为事件A发生的频率，记为$f_n(A)$

3.2概率

概率的重要性质
1.P($\varnothing$)=0.
2.有限可加性，若$A_1,A_2,...A_n$是两两不相容事件，则有
$P(A_1\cup A_2\cup ....\cup A_n)$ = $P(A_1)$+$P(A_2)$ +…+$P(A_n)$
3.设A，B是两个事件，若A$\subset$B，则有
$P(B-A)=P(B)-P(A)$, $P(B)\ge P(A)$
4.对于任一事件A，$P(A)\le 1$
5.逆事件的概率，对于任一事件A，有
$P(\bar{A})=1-P(A)$
6.加法公式，对于任意两事件A，B，有
$P(A\cup B)=P(A)+P(B)-P(AB)$

4.古典概型

略

5.条件概率

5.1条件概率

设A，B是两个事件，且$P(A)>0$，称$P(B|A)=\frac{P(AB)}{P(A)}$为在A发生的条件下B发生的概率

5.2乘法定理

设$P(A)>0$，则有$P(AB)=P(B|A)P(A)$称为乘法公式

5.3全概率公式和贝叶斯公式

样本空间划分的定义：设S为试验E的样本空间，$B_1,B_2,...,B_n$为E的一组事件。若
（1）$B_i{B}_j=\varnothing ,i\ne j,i,j=1,2,...,n$
（2）$B_1\cup B_2\cup ...\cup B_n=S$
则称$B_1,B_2,...,B_n$为样本空间的一个划分

全概率公式
设试验E的岩本空间为S，A为E的事件，$B_1,B_2,...,B_n$为S的一个划分，且$P(B_i)>0(i=1,2,...,n)$，则
$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+...+P(A|B_n)P(B_n)$

贝叶斯公式
设试验E的样本空间为S，A为E的事件，$B_1,B_2,...,B_n$为S的一个划分，且$P(A)>0,P(B_i)>0(i=1,2,...,n)$，则
$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)},i=1,2,...,n$

6.独立性

设A，B是两事件，如果满足等式$P(AB)=P(A)P(B)$，则称A，B相互独立
若A，B相互独立，则
1.$P(B|A)=P(B)$,反之
2.$A与\bar{B},\bar{A}与B,\bar{A}与\bar{B}$相互独立

设ABC是三个事件，如果满足：
$$\{\begin{array}{l}P(AB)=P(A)P(B)\\ P(BC)=P(B)P(C)\\ P(AC)=P(A)P(C)\\ P(ABC)=P(A)P(B)P(C)\end{array}$$
则称ABC相互独立

二、随机变量

1.随机变量

设随机试验的样本空间为   S = { e } , X = X ( e ) \ S=\{e\}, X=X(e)  S={e},X=X(e)是定义在样本空间S上的实值单值函数，称$X=X(e)$为随机变量

2.离散型随机变量及其分布律

2.1（0-1）分布

  P { x = k } = p k ( 1 − p ) 1 − k , k = 0 , 1 ( 0 < p < 1 ) \ P\{x=k\}=p^k(1-p)^{1-k}, k=0,1(0<p<1)  P{x=k}=pk(1−p)1−k,k=0,1(0<p<1)

2.2 伯努利试验，二项分布

设试验E只有两个可能结果：$A及\bar{A}$，则称E为伯努利试验，设$P(A)=p$，此时$P(\bar{A})=1-p$，将E独立重复地进行n次，则称这一串重复独立试验为n重伯努利试验
在n次试验中，A发生k次的概率为
  P { X = k } = ( n k ) p k q n − k , k = 0 , 1 , 2 , . . . , n , q = 1 − p \ P\{X=k\}=\dbinom{n}{k}p^kq^{n-k}, k=0, 1, 2,...,n,q=1-p  P{X=k}=(kn​)pkqn−k,k=0,1,2,...,n,q=1−p其中，$$\left(\genfrac{}{}{0ex}{}{n}{k}\right)=\frac{n(n-1)...(n-k+1)}{k!}$$
当n=1时，二项分布就是（0-1）分布

2.3泊松分布

设随机变量X所有可能取的值为0,1,2,…,而取各个值的概率为   P { X = k } = λ k e − λ k ! , k = 0 , 1 , 2 , . . . \ P\{X=k\}=\frac{\lambda^ke^{-\lambda}}{k!}, k=0,1,2,...  P{X=k}=k!λke−λ​,k=0,1,2,...其中$\lambda >0$是常数，则称X服从参数为$\lambda$的泊松分布，记$X\sim \pi (\lambda )$
泊松定理
$$\underset{n\to \infty }{\lim }\left(\genfrac{}{}{0ex}{}{n}{k}\right)p_n^k(1-p_n{)}^{n-k}=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$$

3.随机变量的分布函数

设X是一个随机变量，x是任意实数，函数   F ( x ) = P { X ≤ x } , − ∞ < x < ∞ \ F(x)=P\{X\leq x\}, -\infty <x<\infty  F(x)=P{X≤x},−∞<x<∞称为X的分布函数

4.连续型随机变量及其概率密度

4.1均匀分布

若连续型随机变量X具有概率密度
$$f(x)=\{\begin{array}{l}\frac{1}{b-a},a<x<b\\ 0,其他\end{array}$$
则称X在区间(a,b)上服从均匀分布，记为$X\sim U(a,b)$

4.2指数分布

$$f(x)=\{\begin{array}{l}\frac{1}{\theta }{e}^{-x/\theta },x>0\\ 0,其他\end{array}$$
其中$\theta >0$为常数
服从指数分布的随机变量X具有无记忆性：对于任意s，t>0，有
  P { X > s + t ∣ X > s } = P { X > t } \ P\{X>s+t|X>s\}=P\{X>t\}  P{X>s+t∣X>s}=P{X>t}

4.3正态分布

$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<\infty$$
其中μ，σ为常数，则称X服从参数为μ，σ的正态分布或高斯分布，记$X\sim N(\mu ,{\sigma }^2)$
若$X\sim N(\mu ,{\sigma }^2)$，则
$$Z=\frac{X-\mu }{\sigma }\sim N(0,1)$$
当μ=0，σ=1时称随机变量X服从标准正态分布，概率密度和分布函数用$\phi (x),\Phi (x)$表示

5.随机变量的函数的分布

设随机变量X具有概率密度$f_X(x),-\infty <x<\infty$，又设函数$g(x)$处处可导且恒有$g^{\prime }(x)>0or{g}^{\prime }(x)<0$，则$Y=g(X)$是连续型随机变量，其概率密度为
$$f_Y(y)=\{\begin{array}{l}{f}_X[h(y)]|h^{\prime }(y)|,\alpha <y<\beta \\ 0,others\end{array}$$
其中   α = m i n { g ( − ∞ ) , g ( ∞ ) } \ \alpha=min\{g(-\infty), g(\infty)\}  α=min{g(−∞),g(∞)},   β = m a x { g ( − ∞ ) , g ( ∞ ) } \ \beta=max\{g(-\infty), g(\infty)\}  β=max{g(−∞),g(∞)}， h(y)是g(x)的反函数

三、多维随机变量及其分布

1.二维随机变量

略

2.边缘分布

略

3.条件分布

设（X，Y）是二维离散型随机变量，对于固定的j，若   P { Y = y j } > 0 \ P\{Y=y_j\}>0  P{Y=yj​}>0，则称
  P { X = x i ∣ Y = y i } = P { X = x i , Y = y j } P { Y = y j } = p i j p . j , i = 1 , 2 , . . . \ P\{X=x_i|Y=y_i\}=\frac{P\{X=x_i,Y=y_j \}}{P\{Y=y_j\}}=\frac{p_{ij}}{p_{.j}}, i=1,2,...  P{X=xi​∣Y=yi​}=P{Y=yj​}P{X=xi​,Y=yj​}​=p.j​pij​​,i=1,2,...
为在$Y=y_i$条件下随机变量X的条件分布律，对另一个变量亦然
设二维随机变量（X，Y）的概率密度为f(x,y),(X,Y)关于Y的边缘概率密度为$f_Y(y)$，若对于固定的y，$f_Y(y)>0$，则称$\frac{f(x,y)}{f_Y(y)}$为在Y=y的条件下X的条件概率密度，记为
$$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$$
称${\int }_{-\infty }^x{f}_{X|Y}(x|y)dx$为Y=y条件下X的条件分布函数，记为   P { X ≤ x ∣ Y = y } \ P\{X\leq x|Y=y\}  P{X≤x∣Y=y}或$F_{X|Y}(x|y)$，对另一个变量亦然

4.相互独立的随机变量

设F(x,y)及$F_X(x),F_Y(y)$分别是二维随机变量（X，Y）的分布函数及边缘分布函数，若对于所有的x，y有：
  P { X ≤ x , Y ≤ y } = P { X ≤ x } P { Y ≤ y } \ P\{X\leq x, Y\leq y\}=P\{X\leq x\}P\{Y\leq y\}  P{X≤x,Y≤y}=P{X≤x}P{Y≤y}
即 $F(x,y)=F_X(x)F_Y(y)$，则称随机变量X，Y是相互独立的
对于概率密度和边缘概率密度，等式
$$f(x,y)=f_X(x)f_Y(y)$$
在平面上除去“面积”为零的集合以外，处处成立

5.两个随机变量函数的分布

5.1 $Z=X+Y$的分布

设(X,Y)是二维连续型随机变量，它具有概率密度f(x,y) ,则Z=X+Y仍为连续型随机变量，其概率密度为
$$f_{X+Y}(z)={\int }_{-\infty }^{\infty }f(z-y,y)dy$$
$$f_{X+Y}(z)={\int }_{-\infty }^{\infty }f(x,z-x)dy$$
又若X和Y相互独立，设(X,Y)关于X，Y的边缘密度分别为$f_X(x),f_Y(y)$，则
$$f_{X+Y}(z)={\int }_{-\infty }^{\infty }{f}_X(z-y)f_Y(y)dy$$
$$f_{X+Y}(z)={\int }_{-\infty }^{\infty }{f}_X(x)f_Y(z-x)dx$$
这两个公式称为$f_X和f_Y$的卷积公式，记为$f_X\ast f_Y$，即
$$f_X\ast f_Y=f_{X+Y}(z)={\int }_{-\infty }^{\infty }{f}_X(z-y)f_Y(y)dy={\int }_{-\infty }^{\infty }{f}_X(x)f_Y(z-x)dx$$
对于正态分布，可以证明有限个相互独立的正态随机变量的线性组合仍然服从正态分布

5.2 $Z=\frac{Y}{X},Z=XY$的分布

$$f_{Y/X}(z)={\int }_{-\infty }^{\infty }|x|f(x,xz)dx$$
$$f_{XY}(z)={\int }_{-\infty }^{\infty }\frac{1}{|x|}f(x,\frac{z}{x})dx$$
若X,Y相互独立：
$$f_{Y/X}(z)={\int }_{-\infty }^{\infty }|x|f_X(x)f_Y(xz)dx$$
$$f_{XY}(z)={\int }_{-\infty }^{\infty }\frac{1}{|x|}{f}_X(x)f_Y(\frac{z}{x})dx$$

5.3   M = m a x { X , Y } \ M=max\{X,Y\}  M=max{X,Y}及   N = m i n { X , Y } \ N=min\{X,Y\}  N=min{X,Y}的分布

$$F_{max}(z)=F_X(z)F_Y(z)$$
$$F_{min}(z)=1-[1-F_X(z)][1-F_Y(z)]$$

四、随机变量的数字特征

1.数学期望

设离散型随机变量X的分布律为
  P { X = x k } = p k , k = 1 , 2 , . . . \ P\{X=x_k\}=p_k,k=1,2,...  P{X=xk​}=pk​,k=1,2,...
若级数
$$\sum _{k=1}^{\infty }{x}_k{p}_k$$
绝对收敛，则称级数$$\sum _{k=1}^{\infty }{x}_k{p}_k$$的和为随机变量X的数学期望，记为E(X)
$$E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k$$
设连续型随机变量X的概率密度为f(x)，若积分
$${\int }_{-\infty }^{\infty }xf(x)dx$$
绝对收敛，则称积分$${\int }_{-\infty }^{\infty }xf(x)dx$$的值为随机变量X的数学期望，记为E(X)
$$E(x)={\int }_{-\infty }^{\infty }xf(x)dx$$
定理 设Y是随机变量X的函数：Y=g(X)(g是连续函数)
1.如果X是离散型随机变量，他的分布律为   P { X = x k } = p k , k = 1 , 2 , . . . \ P\{X=x_k\}=p_k,k=1,2,...  P{X=xk​}=pk​,k=1,2,...，若${\sum }_{k=1}^{\infty }g(x_k)p_k$收敛，则有
$$E(Y)=E[g(X)]=\sum _{-\infty }^{\infty }g(x_k)p_k$$
2.如果X是连续型随机变量，它的概率密度为f(x),若${\int }_{-\infty }^{\infty }g(x)f(x)dx$绝对收敛，则有
$$E(Y)=E[g(X)]={\int }_{-\infty }^{\infty }g(x)f(x)dx$$

数学期望的几个重要性质

1.C是常数，则$E(C)=C$
2.X是一个随机变量，C常数，$E(CX)=CE(X)$
3.X，Y是两个随机变量，$E(X+Y)=E(X)+E(Y)$
4.设X，Y是相互独立的随机变量，则有$E(XY)=E(X)E(Y)$

2.方差

设X是一个随机变量，若   E { [ X − E ( X ) ] 2 } \ E\{[X-E(X)]^2\}  E{[X−E(X)]2}存在，则称   E { [ X − E ( X ) ] 2 } \ E\{[X-E(X)]^2\}  E{[X−E(X)]2}为X的方差，记为D(X)或Var(X),即
  D ( X ) = V a r ( X ) = E { [ X − E ( X ) ] 2 } \ D(X)=Var(X)=E\{[X-E(X)]^2\}  D(X)=Var(X)=E{[X−E(X)]2}
在应用上引入量$\sqrt{D(X)}$，记为$\sigma (X)$，称为标准差或均方差

对于离散型随机变量，有
$$D(X)=\sum _{k=1}^{\infty }[x_k-E(X){]}^2{p}_k$$
对于连续型随机变量，有
$$D(X)={\int }_{-\infty }^{\infty }[x-E(X){]}^{2}f(x)$$

随机变量X的方差可按下式计算
$$D(X)=E(X^2)-[E(X){]}^2$$

方差的几个重要性质

1.C是常数，则$D(C)=0$
2.X是随机变量，C是常数，则
$$D(CX)=C^{2}D(X),D(X+C)=D(X)$$
3.设X，Y是两个随机变量，则
  D ( X + Y ) = D ( X ) + D ( Y ) + 2 E { ( X − E ( X ) ) ( Y − E ( Y ) ) } \ D(X+Y)=D(X)+D(Y)+2E\{(X-E(X))(Y-E(Y))\}  D(X+Y)=D(X)+D(Y)+2E{(X−E(X))(Y−E(Y))}
  上 式 第 三 项 = 2 { E ( X Y ) − E ( X ) E ( Y ) } \ 上式第三项=2\{E(XY)-E(X)E(Y)\}  上式第三项=2{E(XY)−E(X)E(Y)}
特别地，若X，Y相互独立，则
$$D(X+Y)=D(X)+D(Y)$$
4.D(X)=0的充要条件是X以概率1取常数E(X),即
  P { X = E ( X ) } = 1 \ P\{X=E(X)\}=1  P{X=E(X)}=1

切比雪夫不等式

设随机变量X具有数学期望$E(X)=\mu$，方差$D(X)={\sigma }^2$，则对于任意正数$ϵ$，不等式
  P { ∣ X − μ ∣ ≥ ϵ } ≤ σ 2 ϵ 2 \ P\{|X-\mu|\ge \epsilon\}\leq \frac{\sigma^2}{\epsilon^2}  P{∣X−μ∣≥ϵ}≤ϵ2σ2​

3.协方差及相关系数

量   E { [ X − E ( X ) ] [ Y − E ( Y ) ] } \ E\{[X-E(X)][Y-E(Y)]\}  E{[X−E(X)][Y−E(Y)]}称为随机变量X与Y的协方差，记为$Cov(X,Y)$,即
  C o v ( X , Y ) = E { [ X − E ( X ) ] [ Y − E ( Y ) ] } \ Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}  Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}
而
$${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$
称为随机变量X与Y的相关系数
由定义可知
$$Cov(X,Y)=Cov(Y,X),Cov(X,X)=D(X)$$
对于任意两个随机变量X和Y，下式成立
$$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$$
将Cov(X,Y)的定义式展开，可得
$$Cov(X,Y)=E(XY)-E(X)E(Y)$$
常利用这一式计算协方差

协方差的性质

1.$Cov(aX,bY)=abCov(X,Y),a,b是常数$
2.$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

${\rho }_{XY}$的性质

1 .$|{\rho }_{XY}|\le 1$
2. $|{\rho }_{XY}|\le 1$的充要条件是，存在常数a，b使
  P { Y = a + b X } = 1 \ P\{Y=a+bX\}=1  P{Y=a+bX}=1
3.当${\rho }_{XY}=0$时，称X和Y不相关

4.矩、协方差矩阵

设X，Y时随机变量，若
$$E(X^k),k=1,2,...$$
存在，则称它为X的k阶原点矩，简称k阶矩
若
  E { [ X − E ( X ) ] k } , k = 2 , 3 , . . . \ E\{[X-E(X)]^k\}, k=2,3,...  E{[X−E(X)]k},k=2,3,...
存在，则称它为X的k阶中心距
若
$$E(X^k{Y}^l),k,l=1,2,...$$
存在，则称它为X和Y的k+l阶混合矩
若
  E { [ X − E ( X ) ] k [ Y − E ( Y ) ] l } , k , l = 1 , 2 , . . . \ E\{[X-E(X)]^k[Y-E(Y)]^l\}, k,l=1,2,...  E{[X−E(X)]k[Y−E(Y)]l},k,l=1,2,...
存在，称它为X和Y的k+l阶混合中心距

设n维随机变量$(X_1,X_2,...,X_n)$的二阶混合中心距
  C i j = C o v ( X i , X j ) = E { [ X i − E ( X i ) ] [ X j − E ( X j ) ] } , i , j = 1 , 2 , . . . , n \ C_{ij}=Cov(X_i,X_j)=E\{[X_i-E(X_i)][X_j-E(X_j)]\},i,j=1,2,...,n  Cij​=Cov(Xi​,Xj​)=E{[Xi​−E(Xi​)][Xj​−E(Xj​)]},i,j=1,2,...,n
都存在，则称矩阵
$$\left[\begin{array}{c}{c}_{11}{c}_{12}\cdots c_{1n}\\ c_{21}{c}_{22}\cdots c_{2n}\\ ⋮⋮⋮\\ c_{n1}{c}_{n2}\cdots c_{nn}\end{array}\right]$$
为n维随机变量的协方差矩阵，为对称矩阵

n维正态随机变量的重要性质

1.n维正态随机变量$(X_1,X_2,...,X_n)$的每一个分量$X_i,i=1,2,...,n$都是正态随机变量，反之，若$X_1,X_2,...,X_n$都是正态随机变量，且相互独立，则$(X_1,X_2,...,X_n)$是n维正态随机变量
2.n维随机变量$(X_1,X_2,...,X_n)$服从n维正态分布的充要条件是$X_1,X_2,...,X_n$ 的任意线性组合
$$l_1{X}_1+l_2{X}_2+...+l_n{X}_n$$
服从一维正态分布（其中$l_1,...,l_n$不全为0）
3.若$(X_1,X_2,...,X_n)$服从n维正态分布，设$Y_1,Y_2,...,Y_k$是$X_j(j=1,2,...,n)$的线性函数，则$(Y_1,Y_2,...,Y_k)$也服从多维正态分布–正态变量的线性变换不变性
4.设$(X_1,X_2,...,X_n)$服从n维正态分布，则$X_1,X_2,...,X_n$相互独立与$X_1,X_2,...,X_n$两两不相关是等价的

五、大数定律及中心极限定理

1.大数定律

1.1弱大数定律（辛钦大数定律）

设$X_1,X_2,...$是相互独立，服从同一分布的随机变量序列，且具有数学期望$E(X_k)=\mu (k=1,2,...)$。作前n个变量的算数平均$\frac{1}{n}{\sum }_{k=1}^n{X}_k$，则对于任意$ϵ>0$,有
  l i m n → ∞ P { ∣ 1 n ∑ k = 1 n X k − μ ∣ < ϵ } = 1 \ lim_{n \to \infty}P\{|\frac{1}{n}\sum_{k=1}^nX_k-\mu|<\epsilon\}=1  limn→∞​P{∣n1​k=1∑n​Xk​−μ∣<ϵ}=1

1.2伯努利大数定理

设$f_A$是n次独立重复试验中事件A发生的次数，p是事件A在每次试验中发生的概率，则对于任意正数$ϵ>0$,有
  l i m n → ∞ P { ∣ f A n − p ∣ < ϵ } = 1 \ lim_{n \to \infty}P\{|\frac{f_A}{n}-p|<\epsilon\}=1  limn→∞​P{∣nfA​​−p∣<ϵ}=1
或
  l i m n → ∞ P { ∣ f A n − p ∣ ≥ ϵ } = 0 \ lim_{n \to \infty}P\{|\frac{f_A}{n}-p|\ge\epsilon\}=0  limn→∞​P{∣nfA​​−p∣≥ϵ}=0

2.中心极限定理

2.1独立同分布的中心极限定理

均值为$\mu$,方差为${\sigma }^2>0$的独立同分布的随机变量$X_1,X_2,...,X_n$之和${\sum }_{k=1}^n{X}_k$的标准化变量，当n充分大时，有
$$\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\sim \Phi (x)(近似地)$$
或写成
$$\frac{\overline{X}-\mu }{\sigma /\sqrt{n}}\sim \Phi (x)(近似地)$$
$$\overline{X}\sim N(\mu ,{\sigma }^2/n)(近似地)$$

2.2李亚普洛夫定理

设随机变量$X_1,X_2,...,X_n$相互独立，他们具有数学期望和方差
$$E(X_k)={\mu }_k,D(X_k)={\sigma }_k^2>0,k=1,2,...$$
记 $B_n^2={\sum }_{k=1}^n{\sigma }_k^2$
则随机变量
$$Z_n=\frac{{\sum }_{k=1}^n{X}_k-{\sum }_{k=1}^n{\mu }_k}{B_n}$$
当n很大时，近似服从标准正态分布，即
$$\sum _{k=1}^n{X}_k=B_n{Z}_n+\sum _{k=1}^n{\mu }_k$$近似服从正态分布$N({\sum }_{k=1}^n{\mu }_k,B_n^2)$

2.3棣莫弗-拉普拉斯定理

设随机变量${\eta }_n(n=1,2,...)$服从参数为n，p的二项分布，则对于任意x，有
  l i m n → ∞ P { η n − n p n p ( 1 − p ) ≤ x } = Φ ( x ) \ lim_{n \to \infty}P\{\frac{\eta_n-np}{\sqrt{np(1-p)}}\leq x\}=\Phi(x)  limn→∞​P{np(1−p) ​ηn​−np​≤x}=Φ(x)
这个定理表面正态分布时二项分布的极限分布

六、样本及抽样分布

1、随机样本

设X是具有分布函数F的随机变量，若$X_1,X_2,...,X_n$是具有同一分布函数F的，相互独立的随机变量，则称$X_1,X_2,...,X_n$为从分布函数F（或总体F，或总体X）得到的容量为n的简单随机样本，简称样本，他们的观察值$x_1,x_2,...,x_n$称为样本值，又称为X的n个独立的观察值

3、抽样分布

设 $X_1,X_2,...,X_n$是来自总体X的一个样本，$g(X_1,X_2,...,X_n)$是$X_1,X_2,...,X_n$的函数，若g中不含未知参数，则称$g(X_1,X_2,...,X_n)$是一统计量

3.1 常用的统计量

设$X_1,X_2,...,X_n$是来自总体X的一个样本，$x_1,x_2,...,x_n$是这一样本的观察值
样本平均值
$$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$
样本方差
$$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2=\frac{1}{n-1}(\sum _{i=1}^n{X}_i^2-n{\overline{X}}^2)$$
样本标准差
$$S=\sqrt{S^2}=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(X_i-\overline{X}{)}^2}$$
样本k阶原点矩
$$A_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k,k=1,2,...$$
样本k阶中心矩
$$A_k=\frac{1}{n}\sum _{i=1}^n（X_i-\overline{X}{）}^k,k=2,3,...$$
它们的观察值就是将X小写，形式一样

3.2 来自正态总体的几个常用统计量的分布

${\chi }^2$分布

设$X_1,X_2,...,X_n$是来自N(0,1)的样本，则称统计量
$${\chi }^2=X_1^2+X_2^2+...+X_n^2$$
服从自由度为n的${\chi }^2$分布，记为${\chi }^2\sim {\chi }^2(n)$
其概率密度为
$$f(y)=\{\begin{array}{l}\frac{1}{2^{n/2}\Gamma (n/2)}{y}^{n/2-1}{e}^{-y/2},y>0\\ 0,others\end{array}$$
${\chi }^2$分布的可加性
设${\chi }_1^2\sim {\chi }^2(n_1)$，${\chi }_2^2\sim {\chi }^2(n_2)$，${\chi }_1^2,{\chi }_2^2$相互独立，则有
$${\chi }_1^2+{\chi }_2^2={\chi }^2(n_1+n_2)$$
${\chi }^2$分布的数学期望和方差
若${\chi }^2\sim {\chi }^2(n)$，则有
$$E({\chi }^2)=n,D({\chi }^2)=2n$$

$t$分布

设$X\sim N(0,1),Y\sim {\chi }^2(n)$，且X，Y相互独立，则称随机变量
$$t=\frac{X}{\sqrt{Y/n}}$$
服从自由度为n的t分布，记为$t\sim t(n)$
t分布又称学生氏分布，其概率密度函数为
$$h(t)=\frac{\Gamma [(n+1)/2]}{\sqrt{\pi n}\Gamma (n/2)}(1+\frac{t^2}{n}{)}^{-(n+1)/2},-\infty <t<\infty$$

$F$分布

设$U\sim {\chi }^2(n_1),V\sim {\chi }^2(n_2)$，且U，V相互独立，则称随机变量
$$F=\frac{U/n_1}{V/n_2}$$
服从自由度为$(n_1,n_2)$的F分布，记为$F\sim F(n_1,n_2)$,其概率密度为
$$\psi (y)=\{\begin{array}{l}\frac{\Gamma [(n_1+n_2)/2](n_1/n_2{)}^{n_1/2}{y}^{(n_1/2)-1}}{\Gamma (n_1/2)\Gamma (n_2/2)[1+(n_{1}y/n_2){]}^{(n_1+n_2)/2}},y>0\\ 0,others\end{array}$$

正态总体的样本均值和样本方差的分布

定理一
设$X_1,X_2,...,X_n$是来自正态总体$N(\mu ,{\sigma }^2)$的样本 ，$\overline{X}$是样本均值，则有
$$\overline{X}\sim N(\mu ,{\sigma }^2/n)$$
定理二
设$X_1,X_2,...,X_n$是来自正态总体$N(\mu ,{\sigma }^2)$的样本 ,$\overline{X},S^2$是样本均值和方差，则有
$$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$$
$$\overline{X}与S^2相互独立$$
定理三
设$X_1,X_2,...,X_n$是来自正态总体$N(\mu ,{\sigma }^2)$的样本 ,$\overline{X},S^2$是样本均值和方差，则有
$$\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$
定理四
设$X_1,X_2,...,X_n与Y_1,Y_2,...,Y_n$是来自正态总体$N({\mu }_1,{\sigma }_1^2)$和$N({\mu }_2,{\sigma }_2^2)$的样本，且这两个样本相互独立，$\overline{X},\overline{Y},S_1^2,S_2^2$是样本均值和样本方差，则有
$$1.\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(n_1-1,n_2-1)$$
2.当${\sigma }_1^2={\sigma }_2^2={\sigma }^2$时，有
$$\frac{(\overline{X}-\overline{Y})-({\mu }_1-{\mu }_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$$
其中
$$S_w^2=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2},S_w=\sqrt{S_w^2}$$

七、参数估计

1.点估计

1.1矩估计

列出样本的前k阶矩来解出求出k个未知参数

1.2最大似然估计法

若总体X属于离散型，其分布律   P { X = x } = p ( x ; θ ) , θ ∈ Θ \ P\{X=x\}=p(x;\theta),\theta \in \Theta  P{X=x}=p(x;θ),θ∈Θ的形式为已知，$\theta$为待估计参数，$\Theta$是$\theta$可能取值的范围，设$X_1,X_2,...,X_n$是来自X的样本，则$X_1,X_2,...,X_n$的联合分布律为
$${\Pi }_{i=1}^{n}p(x_i;\theta )$$
$x_1,x_2,...,x_n$是相应于样本$X_1,X_2,...,X_n$的一个样本值。可以知道样本$X_1,X_2,...,X_n$取到观察值$x_1,x_2,...,x_n$的概率，即事件   { X 1 = x 1 , . . . , X n = x n } \ \{X_1=x_1,...,X_n=x_n\}  {X1​=x1​,...,Xn​=xn​}发生的概率为
$$L(\theta )=L(x_1,x_2,...,x_n;\theta )={\Pi }_{i=1}^{n}p(x_i;\theta ),\theta \in \Theta$$
其称为样本的似然函数，我们要做的是在$\theta \in \Theta$内最大化$L(\theta )$，求出的$\hat{\theta }$称为$\theta$的最大似然估计值，相应的统计量$\hat{\theta }(X_1,X_2,...,X_n)$称为参数θ的最大似然估计量
一般用对数似然方程来求得最大似然估计θ
$$\frac{d}{d\theta }lnL(\theta )=0$$

3.估计量的评选标准

3.1无偏性

设$X_1,X_2,...,X_n$是总体X的一个样本，$\theta \in \Theta$是包含在总体X的分布中的带估参数
若估计量$\hat{\theta }=\hat{\theta }(X_1,X_2,...,X_n)$的数学期望$E(\hat{\theta })$存在，且对于任意$\theta \in \Theta$有
$$E(\hat{\theta })=0$$
则称$\hat{\theta }是\theta$的无偏估计量

3.2有效性

设$\widehat{{\theta }_1}=\widehat{{\theta }_1}(X_1,X_2,...,X_n)$与$\widehat{{\theta }_2}=\widehat{{\theta }_2}(X_1,X_2,...,X_n)$都是θ的无偏估计量，若对于任意$\theta \in \Theta$有
$$D(\widehat{{\theta }_1})\le D(\widehat{{\theta }_2})$$
且至少对于某一个$\theta \in \Theta$上式不等号成立，则称$\widehat{{\theta }_1}较\widehat{{\theta }_2}$有效

3.3相合性

设$\hat{\theta }(X_1,X_2,...,X_n)$为参数θ的估计量，若对于任意$\theta \in \Theta$都满足：对于任意$ϵ>0$有
  l i m n → ∞ P { ∣ θ ^ − θ ∣ < ϵ } = 1 \ lim_{n \to \infty}P\{|\hat{\theta}-\theta|<\epsilon\}=1  limn→∞​P{∣θ^−θ∣<ϵ}=1
则称$\hat{\theta }是\theta$的相合估计量

4.区间估计

置信区间

设总体X的分布函数$F(x;\theta )$含有一个位置参数θ，$\theta \in \Theta$，对于给定值$\alpha (0<\alpha <1)$,若由来自X的样本$X_1,X_2,...,X_n$确定的两个统计量$\underline{\theta }=\underline{\theta }(X_1,X_2,...,X_n)$和$\overline{\theta }=\overline{\theta }(X_1,X_2,...,X_n)$$(\underline{\theta }<\overline{\theta })$，对于任意$\theta \in \Theta$满足
  P { θ ‾ = θ ‾ ( X 1 , X 2 , . . . , X n ) < θ < θ ‾ = θ ‾ ( X 1 , X 2 , . . . , X n ) } ≥ 1 − α \ P\{\underline{\theta}=\underline{\theta}(X_1,X_2,...,X_n)<\theta<\overline{\theta}=\overline{\theta}(X_1,X_2,...,X_n)\}\ge1-\alpha  P{θ​=θ​(X1​,X2​,...,Xn​)<θ<θ=θ(X1​,X2​,...,Xn​)}≥1−α
则称随机区间$(\underline{\theta },\overline{\theta })$是θ的置信水平为$1-\alpha$的置信区间，$\underline{\theta },\overline{\theta }$分别称为置信水平为1-α的双侧置信区间的置信下限和置信上限，1-α称为置信水平
单侧置信区间略，原理相似

寻求未知参数$\theta$的置信区间的具体做法

1.寻求一个样本$X_1,X_2,...,X_n$和$\theta$的函数$W=W(X_1,X_2,...,X_n;\theta )$，使得W的分布不依赖θ以及其他未知参数，称具有这种性质的函数W为枢轴量
2.对于给定的置信水平$1-\alpha$，定出两个常数a，b，使得
  P { a < W ( X 1 , X 2 , . . . , X n ; θ ) < b } = 1 − α \ P\{ a<W(X_1,X_2,...,X_n;\theta)<b\}=1-\alpha  P{a<W(X1​,X2​,...,Xn​;θ)<b}=1−α
若能从$a<W(X_1,X_2,...,X_n;\theta )<b$得到与之等价的θ的不等式$\underline{\theta }<\theta <\overline{\theta }$,其中$\underline{\theta }=\underline{\theta }(X_1,X_2,...,X_n),,\overline{\theta }=\overline{\theta }(X_1,X_2,...,X_n)$都是统计量，那么$(\underline{\theta },\overline{\theta })$就是θ的一个置信水平为$1-\alpha$的置信区间