概率论与数理统计笔记系列之第二章：随机变量及其分布

概率论与数理统计笔记（第二章 随机变量及其分布）

对于统计专业来说，书本知识总有遗忘，翻看教材又太麻烦，于是打算记下笔记与自己的一些思考，主要参考用书是茆诗松老师编写的《概率论与数理统计教程》，其他知识待后续书籍补充。

第二章 随机变量及其分布

2.1 随机变量及其分布

2.1.1 随机变量的概念

定义 2.1.1
定义在样本空间 $\Omega$ 上的实值函数 $X=X(\omega )$ 称为随机变量, 常用大写字母 $X,Y,Z$ 等表示随机变量, 其取值用小写字母 $x,y,z$ 等表示. 假如一个随机变量仅可能取有限个或可列个值, 则称其为离散随机变量. 假如一个随机变量的可能取值充满数轴上的一个区间 $(a,b)$, 则称其为连续随机变量,其中 $a$ 可以是 $-\infty ,b$ 可以是 $\infty$.

2.1.2 随机变量的分布函数

定义 2.1.2
设 $X$ 是一个随机变量, 对任意实数 $x$, 称
$$F(x)=P(X⩽x)$$
为随机变量 $X$ 的分布函数. 且称 $X$ 服从 $F(x)$, 记为 $X\sim F(x)$. 有时也可用 $F_x(x)$ 以表明是 $X$ 的分布函数 (把 $X$ 写成 $F$ 的下标).

定理 2.1.1 任一分布函数 $F(x)$ 都具有如下三条基本性质：
(1) 单调性 $F(x)$ 是定义在整个实数轴 $(-\infty ,\infty )$ 上的单调非减函数, 即对任意的 $x_1<x_2$, 有 $F\left(x_1\right)⩽F\left(x_2\right)$.
(2) 有界性 对任意的 $x$, 有 $0⩽F(x)⩽1$, 且
$$\begin{array}{c}F(-\infty )=\underset{x\to -\infty }{\lim }F(x)=0,\\ F(\infty )=\underset{x\to \infty }{\lim }F(x)=1.\end{array}$$
(3) 右连续性 $F(x)$ 是 $x$ 的右连续函数, 即对任意的 $x_0$, 有
$$\underset{x\to x_0+}{\lim }F(x)=F\left(x_0\right),$$
即
$$F\left(x_0+0\right)=F\left(x_0\right).$$

2.1.3 离散随机变量的概率分布列

对离散随机变量而言, 常用以下定义的分布列来表示其分布.
定义 2.1.3
设 $X$ 是一个离散随机变量, 如果 $X$ 的所有可能取值是 $x_1,x_2$, $\cdots ,x_n,\cdots$, 则称 $X$ 取 $x_i$ 的概率
$$p_i=p\left(x_i\right)=P\left(X=x_i\right),i=1,2,\cdots ,n,\cdots$$
为 $X$ 的概率分布列或简称为分布列, 记为 X ∼ { p i } X \sim\left\{p_i\right\} X∼{ pi​},

分布列的基本性质

(1) 非负性 $p\left(x_i\right)⩾0,i=1,2,\cdots$.
(2) 正则性${\sum }_{i=1}^{\infty }p\left(x_i\right)=1$.

以上两条基本性质是分布列必须具有的性质,也是判别某个数列是否能成为分布列的充要条件. 由离散随机变量 $X$ 的分布列很容易写出 $X$ 的分布函数
$$F(x)=\sum _{x_i\le x}p\left(x_i\right).$$

2.1.4 连续随机变量的概率密度函数

定义 $2.1.4$
设随机变量 $X$ 的分布函数为 $F(x)$, 如果存在实数轴上的一个非负可积函数 $p(x)$, 使得对任意实数 $x$ 有
$$F(x)={\int }_{-\infty }^{x}p(t)\mathrm{d}t,$$
则称 $p(x)$ 为 $X$ 的概率密度函数, 简称为密度函数, 或称密度.

密度函数的基本性质

（1）非负性 $p(x)⩾0$.
（2）正则性 ${\int }_{-\infty }^{\infty }p(x)\mathrm{d}x=1$. (含有 $p(x)$ 的可积性)

以上两条基本性质是密度函数必须具有的性质, 也是确定或判别某个函数是否成为密度函数的充要条件.
除了离散分布和连续分布之外, 还有既非离㪚又非连续的分布，在此不作过多介绍。

2.2 随机变量的数学期望

2.2.1 数学期望的概念

2.2.2 数学期望的定义

定义 2.2.1
设离散随机变量 $X$ 的分布列为
$$p\left(x_i\right)=P\left(X=x_i\right),i=1,2,\cdots ,n,\cdots .$$
如果
$$\sum _{i=1}^{\infty }\left|x_i\right|p\left(x_i\right)<\infty ,$$
则称
$$E(X)=\sum _{i=1}^{\infty }{x}_{i}p\left(x_i\right)$$
为随机变量 $X$ 的数学期望, 或称为该分布的数学期望, 简称期望或均值. 若级数 ${\sum }_{k=1}^{\infty }\left|x_i\right|p\left(x_k\right)$ 不收敛, 则称 $X$ 的数学期望不存在.

以上定义中, 要求级数绝对收敛的目的在于使数学期望唯一. 因为随机变量的取值可正可负, 取值次序可先可后, 由无穷级数的理论知道, 如果此无穷级数绝对收敛, 则可保证其和不受次序变动的影响. 由于有限项的和不受次序变动的影响,故取有限个可能值的随机变量的数学期望总是存在的.

定义 2.2.2
设连续随机变量 $X$ 的密度函数为 $p(x)$. 如果
$${\int }_{-\infty }^{\infty }|x|p(x)\mathrm{d}x<\infty ,$$
则称
$$E(X)={\int }_{-\infty }^{\infty }xp(x)\mathrm{d}x$$
为 $X$ 的数学期望, 或称为该分布 $p(x)$ 的数学期望, 简称期望或均值. 若 ${\int }_{-\infty }^{\infty }|x|p(x)\mathrm{d}x$ 不收敛, 则称 $X$ 的数学期望不存在.

2.2.3 数学期望的性质

定理 2.2.1 若随机变量 $X$ 的分布用分布列 $p\left(x_i\right)$ 或用密度函数 $p(x)$ 表示, 则 $X$ 的某一函数 $g(X)$ 的数学期望为
$$E[g(X)]=\{\begin{array}{l}{\sum }_{i}g\left(x_i\right)p\left(x_i\right),\text{ 在离散场合 }\\ {\int }_{-\infty }^{\infty }g(x)p(x)\mathrm{d}x,\text{ 在连续场合 }\end{array}$$

现基于这个定理来证明数学期望的几个常用性质, 以下均假定所涉及的数学期望是存在的.

性质 2.2.1 若 $c$ 是常数, 则 $E(c)=c$.
性质 2.2.2 对任意常数 $a$, 有
$$E(aX)=aE(X).$$
性质 2.2.3 对任意的两个函数 $g_1(x)$ 和 $g_2(x)$, 有
$$E\left[g_1(X)\pm g_2(X)\right]=E\left[g_1(X)\right]\pm E\left[g_2(X)\right].$$

2.3 随机变量的方差与标准差

2.3.1 方差与标准差的定义

定义 2.3.1
若随机变量 $X^2$ 的数学期望 $E\left(X^2\right)$ 存在, 则称偏差平方 $(X-$ $EX{)}^2$ 的数学期望 $E(X-EX{)}^2$ 为随机变量 $X$ (或相应分布) 的方差, 记为
$$\begin{array}{rl}\mathrm{Var}(X)& =E(X-E(X){)}^2\\ & =\{\begin{array}{l}{\sum }_i{\left(x_i-E(X)\right)}^{2}p\left(x_i\right),\text{ 在离散场合, }\\ {\int }_{-\infty }^{\infty }(x-E(X){)}^{2}p(x)\mathrm{d}x,\text{ 在连续场合. }\end{array}\end{array}$$
称方差的正平方根 $\sqrt{\mathrm{Var}(X)}$ 为随机变量 $X$ (或相应分布)的标准差,记为 $\sigma (X)$. 或 ${\sigma }_x$.

2.3.2 方差的性质

以下均假定随机变量的方差是存在的.

性质 2.3.1 $\mathrm{Var}(X)=E\left(X^2\right)-[E(X){]}^2$.
性质 2.3.2 常数的方差为 0 , 即 $\mathrm{Var}(c)=0$, 其中 $c$ 是常数.
性质 2.3.3 若 $a,b$ 是常数, 则 $\mathrm{Var}(aX+b)=a^2\mathrm{Var}(X)$.

2.3.3 切比雪夫不等式

定理 2.3.1(切比雪夫(Chebyshev, 1821-1894)不等式)
设随机变量 $X$ 的数学期望和方差都存在, 则对任意常数 $\epsilon >0$, 有
$$P(|X-EX|⩾\epsilon )⩽\frac{\mathrm{Var}(X)}{{\epsilon }^2},$$
或
$$P(|X-EX|<\epsilon )⩾1-\frac{\mathrm{Var}(X)}{{\epsilon }^2}.$$

在概率论中, 事件 {|$X-E(X)|⩾\epsilon \}$ 称为大偏差, 其概率 $P(|X-E(X)|⩾\epsilon )$ 称为大偏差发生概率.

定理 2.3.2 若随机变量 $X$ 的方差存在, 则 $\mathrm{Var}(X)=0$ 的充要条件是 $X$ 几乎处处为某个常数 a， 即 P(X=a)=1.（利用切比雪夫不等式）

2.4 常用离散分布

2.4.1 二项分布

一、二项分布
如果记 $X$ 为 $n$ 重伯努利试验中成功 (记为事件 $A$ ) 的次数, 则 $X$ 的可能取值 为 $0,1,\cdots ,n$. 记 $p$ 为每次试验中 $A$ 发生的概率, 即 $P(A)=p$, 则 $P(\bar{A})=1-p$.
因为 $n$ 重伯努利试验的基本结果可以记作
$$\omega =\left({\omega }_1,{\omega }_2,\cdots ,{\omega }_n\right)$$