概率论

一 事件与概率

概率空间

样本点：在试验中每一个可能出现的结果$\omega$称为样本点。

样本空间：所有样本点的集合$\Omega$称为样本空间。

事件：样本点的集合。

频率：重复进行$n$次试验，事件A在这$n$次试验中发生了$m$次，则称$f(A)=\frac{m}{n}$为在这$n$次试验中A出现的频率。

概率的频率解释：设在相同的条件下重复地进行试验，则随着试验次数地不断增大，事件A的频率在某一确定值附近趋于稳定，这一确定的值称为事件A的概率，记为$P(A)$。

性质 1.1.1：设进行$n$次试验，$f(A)$为事件$A$的频率，则有

1. $f(A)\ge 0$
2. $f(A)=1$当且仅当A在每次试验中都发生。
3. 设$A_1,A_2,\cdots ,A_n$互不相容，则$f({\cup }_{k=1}^{\infty }{A}_k)={\sum }_{k=1}^{\infty }f(A_k)$

事件族：事件的集合称为事件族，全体事件组成的集合记为$F$。

公理 1.1.1：

1. $\Omega \in F$
2. 若$A\in F$，则$\bar{A}\in F$
3. 若$A_k\in F,k=1,2,\cdots$，则${\cup }_{k=1}^{\infty }{A}_i\in F$

性质 1.1.2：

1. $\varnothing \in F$
2. 若$A_i\in F,k=1,2,\cdots$，则${\cap }_{k=1}^{\infty }{A}_i\in F$。

公理 1.1.2

1. $P(A)\ge 0,A\in F$
2. $P(\Omega )=1$
3. 若$A_1,A_2,\cdots \in F$且互不相容，则$P({\cup }_{k=1}^{\infty }{A}_k)={\sum }_{k=1}^{\infty }P(A_k)$

性质 1.1.3

1. $P(\varnothing )=0$
2. $P(A)\le 1,A\in F$
3. 若$A_1,A_2,\cdots ,A_n\in F$且互不相容，则$P({\cup }_{k=1}^n{A}_k)={\sum }_{k=1}^{n}P(A_k)$

命题 1.1.2

1. 如果事件列$A_1,A_2,\cdots$有$A_{k-1}\subset A_k,k>1$成立，则有
   $$\underset{k\to \infty }{\lim }{A}_k=P({\cup }_{k=1}^{\infty }{A}_k)$$

2. 如果事件列$A_1,A_2,\cdots$有$A_k\subset A_{k-1},k>1$成立，则有
   $$\underset{k\to \infty }{\lim }{A}_k=P({\cap }_{k=1}^{\infty }{A}_k)$$

概率空间：满足公理1.1.1和公理1.1.2的三元组$(\Omega ,F,P)$称为概率空间。

古典概型

定义 1.2.1：设样本空间$\Omega$有$n$个样本点${\omega }_1,{\omega }_2,\cdots ,{\omega }_n$，如果事件$A$包括$m$个样本点，则A的概率为
$$P(A)=\frac{m}{n}$$
上面的公式可以基于kolmogorov公理体系导出。

几何概型

几何概型是古典概型在几何上的表示。

概率的加法公式

1. 若$A\cap B=\varnothing$,，则$P(A\cup B)=P(A)+P(B)$。
2. $P(A)+P(\bar{A})=1$
3. 若$A\subset B$，则$P(B\backslash A)=P(B)-P(A),P(A)\le P(B)$
4. $P(B\backslash A)=P(B)-P(AB)$
5. $P(A\cup B)=P(A)+P(B)-P(AB)$
6. $P(A_1\cup A_2\cup \cdots \cup A_n)={\sum }_{1\le i\le n}P(A_i)-{\sum }_{1\le i<j\le n}P(A_i{A}_j)+\cdots +(-1{)}^{n-1}P(A_1{A}_2\cdots A_n)$

条件概率

定义 1.5.1：设$A,B$都是事件，事件$B$发生的概率$P(B)>0$，则称
$$P(A|B)=\frac{P(AB)}{P(B)}$$
为在已知事件B发生的条件下事件A发生的条件概率，当$P(B)=0$时，条件概率的定义无意义。

条件概率的乘法公式：

1. $P(AB)=P(A|B)P(B)$
2. $P(A_1{A}_2\cdots A_n)=P(A_n|A_1{A}_2\cdots A_{n-1})P(A_{n-1}|A_1{A}_2\cdots A_{n-2})\cdots P(A_2|A_1)P(A_1)$

全概率公式：设事件$B_1,B_2,\cdots ,B_n$互不相容，且${\cup }_{k=1}^n{B}_k=\Omega$，$P(B_k)>0,i=1,2,\cdots$，设A为任意事件，则有
$$P(A)=\sum _{k=1}^{n}P(B_k)P(A|B_k)$$
贝叶斯公式（逆概率公式）：
$$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{{\sum }_{k=1}^{n}P(B_k)P(A|B_k)}$$
定义 1.5.2（相互独立）：若有$P(AB)=P(A)P(B)$，则称$A,B$独立或相互独立。

由上述定义可得：若$P(A|B)=P(A)$，则$A,B$相互独立；若$P(B|A)=P(B)$，则$A,B$相互独立。

定义 1.5.3：对于事件$A_1,A_2,\cdots ,A_n$，若对于任意序列$1\le i_1<i_2<\cdots <i_k\le n$，都有$P(A_{i_1}{A}_{i_2}\cdots A_{i_k})=P(A_{i_1})P(A_{i_2})\cdots P(A_{i_k})$成立，则称$A_1,A_2,\cdots ,A_n$相互独立。

二 随机变量及其概率分布

随机变量与分布函数

随机变量：一般地，设$(\Omega ,F,P)$是概率空间，则称样本空间$\Omega$上的实值函数$X(\omega )$为随机变量。

定义 2.1.1（分布函数）：设$X$为随机变量，则称函数
$$F_X(x)=P(\omega :X(\omega )\le x),x\in R$$
为随机变量$X$的累积分布函数（cdf）或分布函数。上面的定义常记为
$$F(x)=P(X\le x),x\in R$$
分布函数的性质：

1. 单调不减性：若$a\le b$，则$F(a)\le F(b)$
2. 右连续性：${\lim }_{x\to a^{+}}F(x)=F(a)$
3. ${\lim }_{x\to a^{-}}F(x)=P(X<a)$
4. $P(X=a)=F(a)-F(a^{-})$
5. ${\lim }_{x\to -\infty }F(x)=0$
6. ${\lim }_{x\to +\infty }F(x)=1$

离散型随机变量

离散型随机变量：若$X$只取有限个值$x_1,x_2,\cdots ,x_n$或可列个值$x_1,x_2,\cdots$，则称随机变量$X$为离散型随机变量，其表示如下。
$$P(X=x_k)=p_k,k=1,2,\cdots ,n$$
且有
$$\sum _{k=1}^n{p}_k=1$$
伯努利分布：如果随机变量$X$只取值0和1，有分布列
$$\begin{gathered} P(X=1)=p,P(X=0)=q \\ 0\le p,q\le 1,p+q=1 \end{gathered}$$
则称$X$服从参数为p的伯努利分布，记为$X\backsim B(1,p)$

二项分布：如果随机变量$X$只取值$0,1,2,\cdots ,n$且分布列为
$$P(x=k)=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,\cdots ,n$$
则称$X$服从二项分布$B(n,p)$，记为$X\backsim B(n,p)$

二项分布是伯努利分布经过独立重复试验后得到的结果。

泊松分布：如果随机变量$X$只取$0,1,\cdots$，且分布列为
$$P(X=k)=\frac{e^{-\lambda }{\lambda }^k}{k!},k=0,1,\cdots$$
其中，$\lambda >0$，则称$X$服从参数为$\lambda$的泊松分布$P(\lambda )$，记为$X\backsim P(\lambda )$

定理 2.2.2：对任意正整数$k$和正实数$\lambda$，有
$$\underset{n\to \infty }{\lim }{C}_n^k(\frac{\lambda }{n}{)}^k(1-\frac{\lambda }{n}{)}^{n-k}=\frac{e^{-\lambda }{\lambda }^k}{k!}$$
因此，当$n$充分大，$\lambda =np$不大时，二项分布可以近似为泊松分布。

超几何分布：设有$N$个产品，其中有$M$个是次品，从这些产品中取出$n$个，即随机变量$X$为这些产品中的次品数，取值为$s,s+1,\cdots ,t$，$s=\max (0,n-(N-M)),t=\min (M,n)$，且有分布列
$$P(X=m)=\frac{C_M^m{C}_{N-M}^{n-m}}{C_N^n}$$
二项分布用于有放回抽样，超几何分布用于无放回抽样。

几何分布：如果随机变量$X$只取正整数值$1,2,\cdots$，且分布列为
$$\begin{gathered} P(X=k)=q^{k-1}p,k=1,2,\cdots \\ p+q=1,0<p<1 \end{gathered}$$
则称$X$服从参数为$p$的几何分布。

几何分布的无记忆性：如果$X$服从几何分布，则对于任意正整数$m,n$，都有
$$P(X>m+n|X>m)=P(X>n)$$

连续型随机变量

定义 2.3.1：设$X$为随机变量，如果存在非负可积函数$P_X(x)$，使得对任意实数b都有
$$P(X\le b)={\int }_{-\infty }^b{p}_X(x)dx$$
则称$X$为连续型随机变量，称$P_X(x)$为$X$的概率密度函数(pdf)或概率密度，密度函数或密度。

可以在有限个点上不定义$p(x)$的值，且改变有限个点的值得到的密度函数$\bar{p}(x)$依然是密度函数。

命题 2.3.1：函数$p(x)$为某个连续型随机变量$X$的密度的充分必要条件是

1. $p(x)\ge 0$
2. ${\int }_{-\infty }^{+\infty }p(x)dx=1$

命题 2.3.2 设$X$是连续性随机变量，则$X$的分布函数连续且对任意实数$a$，有$P(X=a)=0$

推论 2.3.1：

1. $P(X>a)={\int }_a^{+\infty }p(x)dx$
2. $P(X<b)={\int }_{-\infty }^{b}p(x)dx$
3. $P(a<X\le b)={\int }_a^{b}p(x)dx$

分布函数和密度函数的关系：$p(x)=F^{\prime }(x)$

均匀分布：设$a,b$为实数，$a<b$，如果随机变量$X$有密度函数
$$p(x)=\{\begin{array}{l}\frac{1}{b-a},x\in [a,b]\\ 0,x<a或x>b\end{array}$$
则称$X$服从$[a,b]$上的均匀分布$U(a,b)$

指数分布：如果随机变量$X$有密度函数
$$p(x)=\{\begin{array}{l}\lambda e^{-\lambda x},x\ge 0\\ 0,x<0\end{array}$$
其中$\lambda >0$，则称$X$服从参数为$\lambda$的指数分布$E(\lambda )$

正态分布：如果随机变量$X$有密度函数
$$p(x)=\frac{1}{\sqrt{2\pi \sigma }}{e}^{\frac{-(x-\mu {)}^2}{2{\sigma }^2}}$$
其中$\sigma >0$，则称$X$服从正态分布$N(\mu ,{\sigma }^2)$，$N(0,1)$被称为标准正态分布。

随机向量及其分布

n维随机变量：$X(\omega )=(X_1(\omega ),X_2(\omega ),\dots ,X_n(\omega ))$

定义 2.4.1（联合分布函数）：设$(X,Y)$为二维随机向量，称二元函数
$$F(x,y)=P(X\le x,Y\le y)$$
为$(X,Y)$的联合分布函数。

定义 2.4.2（联合分布函数）：设$X=(X_1,X_2,\cdots ,X_n)$为$n$维随机向量，称$n$元函数
$$F(x_1,x_2,\cdots ,x_n)=P(X_1\le x_1,X_2\le x_2,\cdots ,X_n\le x_n)$$
为$X$的联合分布函数。

边缘分布：设$F(x,y)$是二维随机向量$(X,Y)$的联合分布函数，则有
$$\begin{gathered} F_X(x)=P(X\le x,Y<+\infty )=\underset{y\to +\infty }{\lim }F(x,y) \\ {F}_Y(y)=P(X<+\infty ,Y\le y)=\underset{x\to +\infty }{\lim }F(x,y) \end{gathered}$$
二维离散型随机向量：如果$X,Y$均为离散型随机变量，则称$(X,Y)$为二维离散型随机向量，其分布列为
P { ( X , Y ) = ( x i , y j ) } = p i j P\{(X,Y)=(x_i,y_j)\}=p_{ij} P{(X,Y)=(xi​,yj​)}=pij​
边缘分布列：若随机向量$(X,Y)$有联合分布列，则$X,Y$的边缘分布列分别是
$$\begin{gathered} P(X=x_i)=\sum _{j=1}^{\infty }P(X=x_i,Y=y_j),i=1,2,\cdots \\ P(Y=y_j)=\sum _{i=1}^{\infty }P(X=x_i,Y=y_j),j=1,2,\cdots \end{gathered}$$
联合概率密度函数：设$(X,Y)$为二维随机向量，若存在非负可积函数$p(x,y)$使得对于任意实数$b_1,b_2$，都有
$$P(X\le b_1,Y\le b_2)={\int }_{-\infty }^{b_2}{\int }_{-\infty }^{b_1}p(x,y)dxdy$$
则称$(X,Y)$为连续型随机向量，称$p(x,y)$为联合概率密度函数。

联合分布函数：
$$F(x,y)={\int }_{-\infty }^y{\int }_{-\infty }^{x}P(s,t)dsdt$$
边缘密度函数：
$$\begin{gathered} p_X(x)={\int }_{-\infty }^{+\infty }p(x,y)dy \\ {p}_Y(y)={\int }_{-\infty }^{+\infty }p(x,y)dx \end{gathered}$$
定义 2.5.1（随机变量的独立性）：设随机向量$(X,Y)$的联合分布函数为$F(x,y)$，$X$的分布函数为$F_X(x)$，$Y$的分布函数为$F_Y(y)$，如果
$$F(x,y)=F_X(x)F_Y(y)$$
则称随机变量$X,Y$是独立的。

定理 2.5.1：设离散型随机向量$(X,Y)$，$X$取值于 { x 1 , x 2 , ⋯   } \{x_1,x_2,\cdots\} {x1​,x2​,⋯}，$Y$取值于 { y 1 , y 2 , ⋯   } \{y_1,y_2,\cdots\} {y1​,y2​,⋯}，则$X,Y$相互独立的充要条件是对于任意的$x_i,y_j$都有
$$P(X=x_i,Y=y_j)=P(X=x_i)P(Y=y_j)$$
定理 2.5.2：设$(X,Y)$为连续型随机向量，$X$的密度为$P_X(x)$，$Y$的密度为$P_Y(y)$，则$X,Y$相互独立的充要条件是
$$p(x,y)=p_X(x)p_Y(y)$$

三 随机变量的数字特征

期望

期望：期望可以被解释为随机变量的取值的加权平均。

定义 3.1.1：设离散型随机变量$X$的分布列为
$$P(X=x_k)=p_k,k=1,2,\cdots$$
若
$$\sum _k|x_k|P(X=x_k)<+\infty$$
则记
$$EX=\sum _k{x}_{k}P(X=x_k)=\sum _k{x}_k{p}_k$$
并称$X$的期望存在或称$EX$存在，称$EX$为$X$的期望。

定义 3.1.2：设$X$为连续型随机变量，有密度$p(x)$，若
$${\int }_{-\infty }^{+\infty }|x|p(x)dx<+\infty$$
则记
$$EX={\int }_{-\infty }^{+\infty }xp(x)dx$$
并称$X$的期望存在或称$EX$存在，称$EX$为$X$的期望。

期望的性质：设$X$为随机变量，$a,b,c$为常数

1. 把常数c看作只取值c的离散型随机变量，则
   $$Ec=c$$

2. $E(aX+b)=aE(X)+b$

3. 若$P(X\ge 0)=1$，则$E(X)\ge 0$

定理 3.1.1：设$X$是随机变量，$f(x)$是实值函数

1. 若$X$为离散型，有分布列$P(X=x_k)=p_k,k=1,2,\cdots$且有${\sum }_k|f(x_k)|p_k<+\infty$，则
   $$E(f(X))=\sum _{k}f(x_k)p_k$$

2. 若$X$为连续型，有密度$p_X(x)$，${\int }_{-\infty }^{+\infty }|f(x)|P_X(x)dx<+\infty$，则
   $$E(f(x))={\int }_{-\infty }^{+\infty }f(x)p_X(x)dx$$

定理 3.1.2：设$(X,Y)$为随机向量，$f(x,y)$是二元实值函数

1. 若$(X,Y)$为离散型随机向量，有分布列$P(X=x_i,Y=y_j)=p_{ij},i=1,2,\cdots ,j=1,2,\cdots$

   ${\sum }_{i,j}|f(x_i,y_j)|P(X=x_i,Y=y_j)<+\infty$，则
   $$Ef(X,Y)=\sum _{i,j}f(x_i,y_j)P(X=x_i,Y=y_j)$$

2. 若$(X,Y)$为连续型，有密度$p(x,y),{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }|f(x,y)|p(x,y)dxdy<+\infty$，则
   $$Ef(X,Y)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(x,y)p(x,y)dxdy={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(x,y)dF(x,y)$$

命题 3.1.3：若$X,Y$相互独立，则
$$E(XY)=EX\ast EY$$

方差

定义 3.2.1：设随机变量$X$的期望存在，若随机变量$(X-EX{)}^2$的期望存在，则记
$$DX=E(X-EX{)}^2$$
并且称$X$的方差存在或称$DX$存在，称$DX$为$X$的方差。

对于离散型随机变量，$DX$为
$$DX=\sum _k(x_k-EX{)}^2{p}_k$$
对于连续型随机变量，$DX$为
$$DX={\int }_{-\infty }^{+\infty }(x-EX{)}^{2}p(x)dx$$
方差的计算可以简化为
$$DX=E{X}^2-(EX{)}^2$$
定理 3.2.1：设$X,Y$是随机变量，$a,c$是实常数，则

1. $D(c)=0$
2. $D(aX)=a^{2}DX$
3. $D(X+c)=DX$
4. 如果$X,Y$独立，则$D(X+Y)=D(X)+D(Y)$
5. $DX\ge 0$

四 统计估计

似然函数：设总体$X$的密度函数为$p(x;\theta )$，其中$\theta =({\theta }_1,{\theta }_2,\cdots ,{\theta }_m)$为未知参数，$X_1,X_2,\cdots ,X_n$为来自总体的样本，其观测值为$x_1,x_2,\cdots ,x_n$，令
$$L=L(x_1,x_2,\cdots ,x_n;\theta )=p(x_1;\theta )p(x_2;\theta )\cdots p(x_n;\theta )$$
当$\theta$固定时，$L$是随机向量$(X_1,X_2,\cdots ,X_n)$的密度函数；当$x_1,x_2,\cdots ,x_n$固定时，$L$是$\theta$的函数，称为样本的似然函数。

最大似然估计：如果一个事件发生了，则把使得这个事件发生具有最大概率的参数$\hat{\theta }$来作为未知参数$\theta$的估计。如果似然函数$L(x_1,x_2,\cdots ,x_n;\theta )$在$\theta =\hat{\theta }$处达到最大值，则称$\hat{\theta }$是参数$\theta$的最大似然估计。