概率论与数理统计：概率论基础

1. 一维随机变量

1.1 离散型随机变量

概率函数

设$X$为离散型随机变量，其全部可能值为 { a 1 , a 2 , ⋯   } \{a_1,a_2,\cdots\} {a1​,a2​,⋯}，则：
$$P(X=a_i)=p_i(i=1,2,\cdots ,p_i\ge 0,p_1+p_2+\cdots =1)$$

称为$X$的概率函数。

分布函数

设$X$为一随机变量，则函数
$$F(x)=P(X\le x)(-\infty <x<\infty )$$

称为$X$的分布函数。

性质：
$1^{。}$ $F(x)$非递降函数，当$x_1<x_2$时，$F(x_1)<F(x_2)$；

$2^{。}$ 当$x\to \infty$时，$F(x)\to 1$；当$x\to -\infty$时，$F(x)\to 0$;

常见分布

1. 二项分布：$X\sim B(n,p)$
   $$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}(i=0,1,\cdots ,n)$$
   

2. 泊松分布：$X\sim P(\lambda )$
   $$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }(k=0,1,\cdots )$$
   适用于$X$表示一定的时间或空间内事件发生的个数的场合。

3. 二项分布与泊松分布关系
   若$X\sim B(n,\lambda /n)$，则：
   $$P(X=k)=C_n^k(\frac{\lambda }{n}{)}^k(1-\frac{\lambda }{n}{)}^{n-k}$$
   当 $n\to \infty$ 且 $\lambda /n\to 0$ 时，有:
   $$\underset{n\to \infty }{\lim }\frac{C_n^k}{n^k}=\frac{1}{k!},\underset{n\to \infty }{\lim }(1-\frac{\lambda }{n}{)}^n=e^{-\lambda }$$
   故特殊条件下的二项分布近似等于泊松分布。

1.2 连续型随机变量

密度函数

设连续型随机变量$X$有概率分布函数$F(x)$,则函数
$$f(x)=F^{\prime }(x)$$

称为$X$的概率密度函数，它反映了概率在$x$点处的密集程度。

性质：
$1^{。}$ $f(x)\ge 0$；

$2^{。}$${\int }_{-\infty }^{\infty }f(x)dx=1$；

$3^{。}$$F(x)={\int }_{-\infty }^{x}f(t)dt$；

$4^{。}$对任何常数$a<b$，有$P(a\le X\le b)=F(b)-F(a)={\int }_a^{b}f(x)dx$；

图1. 概率分布函数（左）与概率密度函数（右）

常见分布

1. 正太分布：$X\sim N(\mu ,{\sigma }^2)$
   $$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-(x-\mu {)}^2/2{\sigma }^2}(-\infty <x<\infty )$$
   当$\mu =0,{\sigma }^2=1$时$，X\sim N(0,1)$，称为标准正太分布，记其密度函数和分布函数分别为$\phi (x)$和$\Phi (x)$，则
   $$\phi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}$$
   若$X\sim N(\mu ,{\sigma }^2)$，则$Y=(X-\mu )/\sigma \sim N(0,1)$
   
   性质：
   $1^{。}$ $\Phi (x)+\Phi (-x)=1$；
   
   

2. 指数分布
   $$\begin{array}{rl}& f(n)=\{\begin{array}{l}\lambda e^{-\lambda x},x>0\\ 0,x\le 0\end{array}\\ & \\ & F(x)={\int }_{-\infty }^{x}f(t)dt=\{\begin{array}{ll}1-e^{-\lambda x},& x>0\\ 0,& x\le 0\end{array}\end{array}$$
   适用于无老化的寿命分布场合，$\lambda$为失效率，失效率越高，寿命越短。
   
   

3. 均匀分布：$X\sim R(a,b)$
   设随机变量$X$有概率密度函数
   $$f(x)=\{\begin{array}{l}\begin{array}{rl}1/(b-a),& a\le x\le b\\ 0,& 其他\end{array}\end{array}$$
   称$X$服从区间$[a,b]$上的均匀分布。
   
   均匀分布$R(a,b)$的分布函数为：
   $$F(x)=\{\begin{array}{ll}0,& \text{x}\le a\\ (x-a)/(b-a),& \text{a}<x<b\\ 1,& \text{x}\ge b\end{array}$$

2. 多维随机变量

离散型概率函数

以 { a i 1 , a i 2 , ⋯ &ThinSpace; } \{a_{i1},a_{i2},\cdots \} {ai1​,ai2​,⋯}记为$X_i$的全部可能值$(i=1,2,\cdots )$，则事件 { X 1 = a 1 j 1 , ⋯ &ThinSpace; , X n = a n j 1 } \{X_1=a_{1j_1},\cdots,X_n=a_{nj_1}\} {X1​=a1j1​​,⋯,Xn​=anj1​​}的概率
$$p(j_1,\cdots ,j_n)=P(X_1=a_{1j_1},\cdots ,X_n=a_{n{j}_n})(j_1=1,2,\cdots ;\cdots ;j_n=1,2,\cdots )$$

称为随机变量$X=(X_1,\cdots ,X_n)$的概率函数或概率分布，且概率函数满足条件
$$p(j_1,\cdots ,j_n)\ge 0,\sum _{j_n}\cdots \sum _{j_2}\sum _{j_1}p(j_1,\cdots ,j_n)=1$$

如上表中$X_1$的可能值为 { − 1 , 0 , 5 } \{-1, 0, 5\} {−1,0,5}， $X_2$的可能值为 { 1 ， 3 } \{1， 3\} {1，3}，则
$$\begin{gathered} P(1,1)=P(X_1=a_{11}=-1,X_2=a_{21}=1)=0.17 \\ P(3,2)=P(X_1=a_{13}=5,X_2=a_{22}=3)=0.25 \end{gathered}$$

连续型(概率)密度函数

若$f(x_1,\cdots ,x_n)$是定义在$R^n$上的非负函数，是对$R^n$中的任何集合$A$，有
$$P(X)\in A=\int \cdots \int f(x_1,\cdots ,x_2)d{x}_1\cdots d{x}_n$$
称$f$是$X$的（概率）密度函数。

分布函数

$$F(x_1,x_2,\cdots ,x_n)=P(X_1\le x_1,X_2\le x_2,\cdots ,X_n\le x_n)$$

边缘分布

设$X=(X_1,\cdots ,X_n)$为一个$n$维随机向量，$X$的分布为$F$($n$维)。对于$X$的每个分量$X_i$，其为一维随机变量且具有一定的分布$F_i$，称$F_i$为随机向量$X$或其分布$F$的边缘分布。
$$P(X_1=a_{1k})=\sum _{j_2,\cdots ,j_n}p(k,j_2,\cdots ,j_n),(k=1,2,\cdots )$$
如上表1中 X 1 = { a 11 , a 12 , a 13 } = { − 1 , 0 , 5 } X_1=\{a_{11}, a_{12}, a_{13}\}=\{-1,0,5\} X1​={a11​,a12​,a13​}={−1,0,5}，因此
$$\begin{array}{rl}P(X_1=0)& =P(X_1=a_{12})\\ & =p(2,1)+p(2,2)\\ & =P(X_1=0,X_2=1)+P(X_1=0,X_2=3)\\ & =0.05+0.28=0.33\end{array}$$

边缘密度

设$X=(X_1,X_2)$有概率密度函数$f(x_1,x_2)$，则$X_1$的分布函数为$F_1(x_1)=P(X_1\le x_1)$，等价于$P(X_1\le x_1,X_2\le \infty )$，即
$$F_1(x_1)=P(X_1\le x_1)={\int }_{-\infty }^{x_1}d{t}_1{\int }_{-\infty }^{\infty }f(t_1,t_2)d{t}_2$$
${\int }_{-\infty }^{\infty }f(t_1,t_2)d{t}_2$是$t_1$的函数，记为$f_1(t_1)$，则
$$F_1(x_1)={\int }_{-\infty }^{x_1}{f}_1(t_1)d{t}_1⟹d{F}_1(x_1)/d{x}_1=f_1(x_1)={\int }_{-\infty }^{\infty }f(x_1,x_2)d{x}_2$$
推广至$X=(X_1,\cdots ,X_n)$，即
$$f_1(x_1)={\int }_{-\infty }^{\infty }\cdots {\int }_{-\infty }^{\infty }f(x_1,\cdots ,x_n)d{x}_2\cdots d{x}_n$$

离散条件概率分布

设二维随机变量$X=(X_1,X_2)$，$(X_1,X_2)$的联合概率分布为
$$p_{ij}=P(X_1=a_i,X_2=b_j),(i,j=1,2,\cdots )$$
而
$$P(X_1=a_i|X_2=b_j)=P(X_1=a_i,X_2=b_j)/P(X_2=b_j)=p_{ij}/\sum _k{p}_{kj},(i,j=1,2,\cdots )$$

如表1中$P(X_2=3|X_1=0)=0.28/0.33=0.848$

连续型随机变量分布

设二维随机变量$X=(X_1.X_2)$有概率密度函数$f(x_1,x_2)$，则
$$\begin{array}{rl}P(X_1\le x_1|a\le X_2\le b)& =P(X_1\le x_1,a\le X_2\le b)/P(a\le X_2\le b)\\ & ={\int }_{-\infty }^{x_1}d{t}_1{\int }_a^{b}f(t_1,t_2)d{t}_2/{\int }_a^b{f}_{2}5(t_2)d{t}_2\end{array}$$