随机变量及其分布

1 随机变量及其分布律或分布函数

随机变量有两种：离散型随机变量，连续型随机变量。
离散型随机变量：随机变量可能取的值是有限个或可列无限个。
连续型随机变量：可能取的值是连续的（这个定义是笔者自己简单总结的）。

关于连续型随机变量，专业（大学课本）的定义需要用到分布函数，所以在1.3中讲连续型变量的分布函数时，再讲其专业定义。

1.1 离散型随机变量的分布律

离散型随机变量$X$所有可能取的值有$x_k(k=1,2,\cdot \cdot \cdot )$，$X$取各个可能值的概率为
$$P(X=x_k)=p_k，k=1,2,\cdot \cdot \cdot .(1)$$
由概率的定义，$p_k$满足以下条件：

1. $p_k\ge 0，k=1,2,\cdot \cdot \cdot ；$
2. ${\sum }_{k=1}^{\infty }{p}_k=1.$

因为概率1以一定的规律分布在各个可能值上，所以称公式（1）为离散型随机变量$X$的分布律。分布律也可以用表格的形式表示

X	$x_1$	$x_2$	$\cdot \cdot \cdot$	$x_n$	$\cdot \cdot \cdot$
$p_k$	$p_1$	$p_2$	$\cdot \cdot \cdot$	$p_n$	$\cdot \cdot \cdot$

1.2 分布函数

为什么在离散型随机变量的分布律、连续型随机变量的分布函数中间插上这么一节呢？
因为讲了离散型随机变量的分布律，才能讲离散型随机变量的分布函数；
讲了分布函数，才能引出连续型随机变量的定义。

1. 由连续型随机变量引出分布函数的概念
   对于连续型随机变量，我们不会对某一个值感兴趣，而是对某一个区间感兴趣。但由于
   P { x 1 &lt; X ≤ x 2 } = P { X ≤ x 2 } − P { X ≤ x 1 } P\left \{ x_1&lt;X\leq x_2 \right \} = P \left \{ X\leq x_2 \right \} - P \left \{ X\leq x_1 \right \} P{x1​<X≤x2​}=P{X≤x2​}−P{X≤x1​}
   所以只需知道 P { X ≤ x 2 } P \left \{ X\leq x_2 \right \} P{X≤x2​}、 P { X ≤ x 1 } P \left \{ X\leq x_1 \right \} P{X≤x1​}即可。

注意：连续型随机变量和离散型随机变量都有分布函数。

2. 分布函数
   设 $X$是一个随机变量，$x$是任意实数，函数
   F ( x ) = P { X ≤ x } ， − ∞ &lt; x &lt; ∞ F(x)=P\left \{X\leq x \right \}，-\infty &lt; x&lt; \infty F(x)=P{X≤x}，−∞<x<∞
   称为$X$的分布函数。

3. 分布函数的性质
   <1> 分布函数是一个不减函数。
   <2> $0\le F(x)\le 1$，且
   $$F(-\infty )=\underset{x->-\infty }{\lim }F(x)=0$$
   $$F(\infty )=\underset{x->\infty }{\lim }F(x)=1$$

4. 离散型随机变量的分布函数
   设离散型随机变量$X$的分布律为 P { X = x k } = p k ， k = 1 , 2 , ⋅ ⋅ ⋅ . P\left\{ X=x_k\right \}=p_k，k=1,2,\cdot \cdot \cdot. P{X=xk​}=pk​，k=1,2,⋅⋅⋅.
   $X$的分布函数为
   F ( x ) = P { X ≤ x } = ∑ x k ≤ x P { X = x } F(x)=P\left\{ X \leq x \right \} = \sum_{x_k \leq x} P\left\{ X = x \right \} F(x)=P{X≤x}=xk​≤x∑​P{X=x}
   即$$F(x)=\sum _{x_k\le x}{p}_k$$
   总之，离散型随机变量的分布函数即各个可能取值概率值的累加和。
   举例：如（0-1）分布

X	0	1
$p_k$	$1-p$	$p$

其分布函数为
$$F(x)=\{\begin{array}{ll}0& X<0\\ p& 0\le X<1\\ 1& X\ge 1\end{array}$$

连续型随机变量的分布函数要繁琐些，后面细讲。

1.3 连续型随机变量的分布函数

1. 连续型随机变量的定义
   对于随机变量$X$的分布函数$F(x)$，存在非负函数$f(x)$，使得对于任意实数（即事件）$x$有
   $$F(x)={\int }_{-\infty }^{x}f(t)dt$$
   则称$X$为连续型随机变量，函数$f(x)$称为$X$的概率密度函数，简称概率密度。

2. 概率密度$f(x)$的性质
   <1> $f(x)\ge 0$；
   <2> ${\int }_{-\infty }^{\infty }f(x)dx=1$；
   $F(x)$等于$X=-\infty$、$X=x$、$y=0$、$y=f(x)$四条线之间的面积。

2 随机变量的分布

2.1 离散型随机变量的分布

离散型随机变量的分布包括 (0-1)分布，伯努利(二项)分布 ，泊松分布。

2.1.1 (0-1)分布

随机变量只可能取0与1两个值，它的分布律是
P { X = k } = p k ( 1 − p ) ( 1 − k ) P \left \{X=k \right \}=p^k(1-p)^{(1-k)} P{X=k}=pk(1−p)(1−k)
或拆开写为
$$P(X)=\{\begin{array}{llc}p& ，& X=1\\ 1-p& ，& X=0\end{array}$$
分布律表格是

X	0	1
$p_k$	$1-p$	$p$

注意：我们暂且将（0-1）分布记为$X$~$N(p)$（这是笔者自己的记法），此举是为了突出(0-1)分布有一个参数$p$。后面讲参数估计（例如点估计方法族中的极大似然估计）的时候会用到。

2.1.2 伯努利分布（也称二项分布）

**伯努利试验：**只有两个可能结果（$A$及$\overline{A}$）的试验。设$P(A)=p$，则$P(\overline{A})=1-p$。将伯努利试验重复进行$n$次称为$n$ 重伯努利试验。

以$X$表示$n$重伯努利试验中事件$A$发生的次数，X是一个随机变量，求它的分布律。
n次试验中，事件A发生了$k$次的概率为$C_n^k{p}^k(1-p{)}^{(n-k)}$，即有
$$P(X=k)=C_n^k{p}^k(1-p{)}^{(n-k)}，k=0,1,2,\cdot \cdot \cdot ,n.$$
显然 P { X = k } P\left \{X=k \right \} P{X=k}满足离散型随机变量分布律的条件，即 P { X = k } ≥ 0 P\left \{X=k \right \} \geq 0 P{X=k}≥0并且${\sum }_{k=0}^{n}P(X=k)=1$。
所以称随机变量$X$从参数为$n$,$p$的二项分布，并记为$X$~$b(n,p)$。（特别的，当$n=1$即只进行一次伯努利试验时，二项分布化为(0-1)分布）

注意：$X$~$b(n,p)$有两个参数$n$，$p$，后面讲参数估计（例如点估计方法族中的极大似然估计）的时候会用到。

2.1.3 泊松分布

随机变量$X$可能取的值为$0,1,2,\cdot \cdot \cdot$，取各个值的概率为
$$P(X=k)=\frac{{\lambda }^k{e}^{-k}}{k!}，k=0,1,2,\cdot \cdot \cdot ,$$
其中$\lambda >0$是泊松分布的数学期望或方差（泊松分布的数学期望和方差相等，都等于参数$\lambda$），则称$X$服从参数为$\lambda$的泊松分布，记为$X$ ~ $\pi (\lambda )$。

注意： 泊松分布只有一个参数$\lambda$。

2.2 连续型随机变量的分布

连续型随机变量的分布包括均匀分布、指数分布、正态分布。

下面连续型随机变量的分布，只写出概率密度，。
分布函数，求积分即可，因为分布函数用的少就不写了。

2.2.1 均匀分布

若连续型随机变量$X$具有概率密度
$$f(x)=\{\begin{array}{ll}\frac{1}{b-a}，& a<x<b\\ 0，& 其他\end{array}$$
则称$X$在区间$(a,b)$上服从均匀分布，记为$X$~$U(a,b)$

均匀分布的特点：等可能性。即随机变量$X$落在$(a,b)$中任意等长度的子区间内的可能性（概率）是相同的。

2.2.2 指数分布

若连续型随机变量$X$的概率密度为
$$f(x)=\{\begin{array}{ll}\frac{1}{\theta }{e}^{-x/\theta },& x>0，\\ 0,& 其他，\end{array}$$

2.2.3 正态分布（又称高斯分布）

若连续型随机变量$X$的概率密度为
$$f(x)=\frac{1}{\sqrt{2\pi \sigma }}{e}^{-\frac{(x-u{)}^2}{2{\sigma }^2}}，-\infty <x<+\infty ，$$
其中，$\mu ,\sigma$分别是分布的数学期望和标准差（${\sigma }^2$即方差)，则称$X$为服从参数$\mu ,\sigma$的正态分布或高斯分布，记为$X$~$N(u,{\sigma }^2)$。

正态分布的性质：
<1> 曲线关于期望（$x=u$）对称。
<2> 当$x=u$时取到最大值
$$f(u)=\frac{1}{\sqrt{2\pi \sigma }}$$

正态分布的期望值$\mu$决定了其位置，其标准差$\sigma$决定了分布的幅度，由最大值公式可以看出，$\sigma$越小时图形变得越尖，因而$X$落在$u$附近的概率越大。

当$\mu =0$，$\sigma =1$时的正态分布是标准正态分布。
一般正态分布转换为标准正态分布：
若$X$~$N(u,{\sigma }^2)$，则$Y=\frac{X-u}{\sigma }$~$N(0,1)$服从标准正态分布。