应用数理统计之概率论复习与补充

应用数理统计之概率论复习与补充

1 概率空间

1.1 样本空间与事件域

  设$E$是一个随机试验：

  $\bullet$ 基本事件 $\omega$ ：$E$的每一个不能再分或无需再分的可能结果。
  $\bullet$ 样本空间 $\Omega$ ：全体基本事件所组成的集合， Ω = { ω } \Omega=\left\{\omega\right\} Ω={ω}。
  $\bullet$ 事件域 $\mathcal{F}$ ：由$\Omega$的一些子集为元素所组成的集合， F = { A } , A ⊆ Ω \mathcal{F}=\left\{A\right\}, A\subseteq\Omega F={A},A⊆Ω，A称为随机事件。

1.2 概率

  $\bullet$ 概率：定义在事件域$\mathcal{F}$上的实函数。
$$P(A):\mathcal{F}\to \mathcal{R}$$
  $\bullet$ 概率空间：($\Omega ,\mathcal{F},P$)

1.3 条件概率与事件的独立性

1.3.1 条件概率

  设$A$，$B$是两个随机事件，则称$P(B|A)$为在$A$已发生的条件下$B$发生的条件概率，即$B$在$A$之下的条件概率。
$$P(B|A)=\frac{P(AB)}{P(A)}$$

1.3.1 三个重要公式

  设$B_1，B_2，\cdots ，B_n$两两互不相容。
  $\bullet$ 乘法公式：
$$P(A_1{A}_2\cdots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1{A}_2)\cdots )P(A_n|A_1{A}_2\cdots A_{n-1})$$
  $\bullet$ 全概率公式：
$$P(A)=\sum _{n=1}^{\infty }P(B_n)P(A|B_n)$$
  $\bullet$ 贝叶斯（Bayes）公式：
$$P(B_n)P(A|B_n)=\frac{P(A|B_n)P(B_n)}{{\sum }_{j=1}^{\infty }P(A|B_j)P(B_j)}$$

1.3.2 事件的独立性

  设$A$，$B$是两个随机事件，若满足下式，则称$A$，$B$互相独立。
$$P(AB)=P(A)P(B)$$

2 随机变量及其分布

2.1 随机变量和分布函数

  $\bullet$ 随机变量：设($\Omega ,\mathcal{F},P$)是一个概率空间，而$X=X(\omega )$是定义在$\Omega$上的单值实函数，若对任一实数$x$，基本事件的集合 { ω : X ( ω ) ≤ x } \left\{\omega:X(\omega)\leq x \right\} {ω:X(ω)≤x}都是一随机事件, 即 { ω : X ( ω ) ≤ x } ∈ F \left\{\omega:X(\omega)\leq x \right\}\in\mathcal{F} {ω:X(ω)≤x}∈F，则称$X=X(\omega )$为一个随机变量。
  $\bullet$ 分布函数$F(x)$：
$$F(x)=P(X\le x)$$

2.2 一维随机变量的分布

2.2.1 离散型随机变量分布列与分布函数

  $\bullet$ 分布列
$$P(X=x_i)=P_i$$
  $\bullet$ 分布函数
$$F(x)=\sum _{x_i\le x}{P}_i$$

2.2.1 常见离散型随机变量的分布

  $\bullet$ 二项分布$B(n,p),0<p<1$
$$P(X=k)=C_n^k{P}^k(1-p{)}^{n-k},k=0,1,\cdots n$$
  $\bullet$ 0-1（伯努利，Bernoulli）分布$B(1,p),0<p<1$
$$P(X=x)=P^x(1-p{)}^{1-x},x=0,1$$
  $\bullet$ 泊松（Poisson）分布$P(\lambda ),\lambda >0$
$$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda },k=0,1,\cdots$$

2.2.2 连续型随机变量密度函数与分布函数

  如果对于随机变量$X$的分布函数$F(x)$存在非负实函数$f(x)$，使得对于任意实数$x$满足下式，则称$f(x)$为$X$的密度函数。
$$F(x)={\int }_{-\infty }^{x}f(t)dt$$

2.2.1 常见连续型随机变量的分布

  $\bullet$ 均匀分布$R[a,b]$：
$$f(x)=\{\begin{array}{l}\frac{1}{b-a},a\le x\le b\\ 0,其他\end{array}$$
  $\bullet$ 指数分布$E(\lambda )$：
$$f(x)=\{\begin{array}{l}\lambda e^{-\lambda x},x>0\\ 0,其他\end{array}$$
  $\bullet$ 正态分布$N(\mu ,{\sigma }^2),\sigma >0$：
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp\left\{-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right\},k=0,1,\cdots$$

2.3 二维随机变量的分布

2.3.1 联合分布函数和边缘分布函数

  $\bullet$ 联合分布函数：设$(X,Y)$是一个二维随机变量，则对于任意一对实数$(x,y)$，称下式为$(X,Y)$的联合分布函数。
F ( x , y ) = P { X ≤ x , Y ≤ y } F(x,y)=P\left\{X\leq x,Y\leq y\right\} F(x,y)=P{X≤x,Y≤y}
  $\bullet$ 边缘分布函数：下式分别称为$(X,Y)$关于$X$，$Y$的边缘分布函数。

$$\begin{gathered} F_X=P(X\le x)=F(x,+\infty ) \\ {F}_Y=P(Y\le y)=F(+\infty ,y) \end{gathered}$$

2.3.2 联合分布律和边缘分布率

  $\bullet$ 联合分布律：
P i j = P { X = x i , Y = y i } P_{ij}=P\left\{X=x_i,Y=y_i\right\} Pij​=P{X=xi​,Y=yi​}
  $\bullet$ 边缘分布律：
$$\begin{gathered} P(X=x_i)=\sum _j{P}_{ij}=P_{i\cdot } \\ P(Y=y_j)=\sum _i{P}_{ij}=P_{\cdot j} \end{gathered}$$

2.3.3 联合密度函数和边缘密度函数

  $\bullet$ 联合密度函数：$$f(x,y)$$
  $\bullet$ 边缘密度函数：
$$\begin{gathered} f_X(x)={\int }_{-\infty }^{\infty }f(x,y)dy \\ {f}_Y(y)={\int }_{-\infty }^{\infty }f(x,y)dx \end{gathered}$$

2.4 随机变量的独立性

  $(X,Y)$为二维随机变量，对任意实数$x$，$y$满足下式，则称$X,Y$互相独立。
$$F(x,y)=F_X(x)F_Y(y)$$
  $\bullet$ 离散型
$$P_{ij}=P_i{P}_j$$
  $\bullet$ 连续型
$$f(x,y)=f_X(x)f_Y(y)$$

2.5 条件分布

2.5.1 离散型随机变量条件分布

  $\bullet$ 条件分布律
$$P(X=x_i|Y=y_j)=\frac{P_{i}j}{P_{\cdot j}}$$
  $\bullet$ 条件分布函数
$$F(x|y_j)=\frac{{\sum }_{x_i\le x}{P}_{ij}}{P_{\cdot j}}$$

2.5.2 连续型随机变量条件分布

  $\bullet$ 条件分布密度函数
$$f(x|y)=\frac{f(x,y)}{f_Y(y)}$$
  $\bullet$ 条件分布函数
$$F(x|y)=\frac{{\int }_{-\infty }^{x}f(u,y)du}{f_Y(y)}$$

3 随机变量的数字特征

3.1 期望与方差

3.1.1 期望

  $\bullet$ 离散：
$$E(x)=\sum _{k=1}^{\infty }{x}_k{p}_k$$
  $\bullet$ 连续：
$$E(x)={\int }_{-\infty }^{\infty }xf(x)dx$$

3.1.2 方差

$$DX=E(X-EX{)}^2=E{X}^2-(EX{)}^2$$

3.1.3 常用分布均值与方差

  $\bullet$ 二项分布$B(n,p)$
$$\begin{gathered} EX=np \\ DX=np(1-p) \end{gathered}$$
  $\bullet$ 伯努利分布$B(1,p)$
$$\begin{gathered} EX=p \\ DX=p(1-p) \end{gathered}$$
  $\bullet$ 泊松分布$P(\lambda )$
$$\begin{gathered} EX=\lambda \\ DX=\lambda \end{gathered}$$
  $\bullet$ 均匀分布$R(a,b)$
$$\begin{gathered} EX=\frac{a+b}{2} \\ DX=\frac{(b-a{)}^2}{12} \end{gathered}$$
  $\bullet$ 指数分布$E(\lambda )$
$$\begin{gathered} EX=\frac{1}{\lambda } \\ DX=\frac{1}{{\lambda }^2} \end{gathered}$$
  $\bullet$ 正态分布$N(\mu ,{\sigma }^2)$
$$\begin{gathered} EX=\mu \\ DX={\sigma }^2 \end{gathered}$$

3.2 矩，协方差和相关系数

3.2.1 矩

  $\bullet$ $k$阶原点矩：$$E{X}^k$$
  $\bullet$ $k$阶中心矩：$$E(X-EX{)}^k$$

3.2.2 协方差

$$Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EXEY$$

3.2.2 （线性）相关系数

$$\rho (X,Y)=\frac{Cov(X,Y)}{DXDY}$$

3.3 条件数学期望

  $\bullet$ 离散
$$E(X|Y=y)=\sum _{x}P(X=x|Y=y)$$
  $\bullet$ 连续
$$E(X|Y=y)={\int }_{-\infty }^{\infty }x{f}_{X|Y}(x|y)dx$$

3.4 条件方差

$$Var(X|Y)=E[(X-E(X|Y){)}^2|Y]=E(X^2|Y)-[E(X|Y){]}^2$$

4 特征函数

  $X$为随机变量，$t$为实数，称下式为$X$的特征函数。
$${\varphi }_X(t)=E(e^{itX})$$
  $\bullet$ 离散
$${\varphi }_X(t)=\sum _k{e}^{it{x}_k}{p}_k$$
  $\bullet$ 连续
$${\varphi }_X(t)={\int }_{-\infty }^{+\infty }{e}^{itX}f(x)dx$$