概率论与数理统计 | 知识点总结（上）

参考资料

• 概率论 · 复习概要
• 何书元《概率论与数理统计》

1. 随机事件与概率

1.1 古典概型

古典概型中常用计数一有重复的排列数

• 从 $n$ 个不同元素中有放回地每次随机抽取一个, 共抽取 $m$ 次, 有序 地记录结果, 共有 $n^m$ 种等可能的不同结果。
• 例： 掷骰子 3 次, 记录每次结果, 结果一共有 $6\times 6\times 6=6^3$ 种。
• 例： 从 52 张扑克牌中随机有放回地抽取并记录 3 次, 结果共有 $52^3$ 种。

古典概型中常用计数一排列数

• 从 $n$ 个不同元素中无放回地每次随机抽取一个, 共抽取 $m$ 次 $(m\le n)$, 有序地记录结果, 共有
  $$A_n^m=n(n-1)\dots (n-m+1)=\frac{n!}{(n-m)!}$$
  种等可能的不同结果。
• $A_n^m$ 在有的教材中记为 $P_n^m$ 。
• 例： 从 52 张扑克牌中随机无放回地抽取 3 张, 记录每次结果, 结果有 $52\times 51\times 50=A_{52}^3$ 种。

古典概型中常用计数一组合数

• 从 $n$ 个不同元素中无放回地每次抽取一个, 共抽取 $m$ 次 $(m\le n)$, 不计次序地记录结果 (只要元素相同, 不管次序是否相同都算是相同结 果), 共有
  $$C_n^m=\frac{n(n-1)\dots (n-m+1)}{m!}=\frac{n!}{m!(n-m)!}$$
  种等可能的不同结果。
• 例： 从一副扑克牌的 4 张 A 中随机无放回抽取 2 张组成一手牌, 不计 次序。有 $C_4^2=4\times 3/2=6$ 种结果。

古典概型中常用计数一分组方式数

• 将 $n$ 个不同元素分成有序号的 $k$ 组, 要求第 $i$ 组恰好有 $n_i$ 个元素 $(i=1,2,\dots ,k)$, 分组结果中同组的元素不考虑次序。则这样分组的 所有不同分法个数为
  $$\left(\begin{array}{c}n\\ n_1,n_2,\dots ,n_k\end{array}\right)=\frac{n!}{n_1!n_2!\dots n_k!}.$$
• 当随机分组时, 这些分法是等可能的。
• 随机分组的方法是 $n$ 个元素随机排列 ( $n$ ! 种排法), 然后前 $n_1$ 个不计 次序地归入 $i=1$ 组, 后续 $n_2$ 个不计次序地归入 $i=2$ 组, 以此类推。
• 例 10 个学生分成 $\mathrm{A},\mathrm{B},\mathrm{C}$ 三个组, 分别有 3、3、4人, 组内不计次 序。
  分组方式个数为
  $$\frac{10!}{3!3!4!}\triangleq \left(\begin{array}{c}10\\ 3,3,4\end{array}\right)$$

古典概型中常用计数一可重复分组数

• 从 $n$ 个不同的球中有放回地每次抽取一个, 共抽取 $m$ 次, 结果不计 次序。共有 $C_{n+m-1}^m$ 种不同的组合。
• 用 0 和 1 组成的序列表示一个结果。
• 用 $n-1$ 个 1 分隔出 $n$ 个组, 1 表示组边界。这 $n$ 个组是结果排序后 球号 $1,2,\dots ,n$ 的组。
• 每组内有若干个 0 表示该组个数, 如果出现 11 则该组没有球, 把 $m$ 个 0 分配到各个组中。
• 这样, 用长度为 $n+m-1$ 的 0-1 向量表示一个结果, 结果个数为 $C_{n+m-1}^{n-1}$ (从 $n+m-1$ 个二进制位中选择 1 的位置, 即边界的位置)。
• 可重复分组数在随机分组时一般不是等可能的。
• 例如, 从红、白两个球中有放回地抽取 2 次, 计数这 2 次红球、白球 个数。共有 (红 0 , 白 2$),($ 红 1 , 白 1$),($ 红 2 , 白 0$)$ 三种结果, 即 $C_{2+2-1}^2=3$ 种结果。随机抽取时 (红 1 , 白 1) 概率为 $\frac{1}{2}$, (红 0 , 白 2) 和 (红 2 , 白 $0)$ 的概率都是 $\frac{1}{4}$ 。

例题

1.2 加法公式与乘法公式

和事件的概率 $P(A\cup B)$ 在不同场合下的求法:

• 一般形式:
  $$\begin{array}{rl}P(A\cup B)& =P(A)+P(B)-P(AB)\\ P(A\cup B\cup C)& =P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC).\end{array}$$

• 若 $A,B$ 互不相容: $P(A\cup B)=P(A)+P(B)$.

• 若 $A,B$ 相互独立:
  $$\begin{array}{rl}P(A\cup B)& =1-P(\overline{A\cup B})=1-P(\bar{A}\bar{B})\\ & =1-P(\bar{A})P(\bar{B})\end{array}$$

积事件的概率 $P(AB)$ 的求法:

• 一般形式:
  $$P(AB)=P(A)P(B\mid A)=P(B)P(A\mid B).$$
• 若 $A,B$ 相互独立:
  $$P(AB)=P(A)P(B).$$
  乘法公式来自于条件概率公式:
  $$P(B\mid A)=\frac{P(AB)}{P(A)}$$

1.3 全概率公式和 Bayes 公式

全概率公式
$$\begin{array}{rl}P(A)& =P\left(A{B}_1\right)+P\left(A{B}_2\right)+\cdots +P\left(A{B}_n\right)\\ & =P\left(B_1\right)P\left(A\mid B_1\right)+P\left(B_2\right)P\left(A\mid B_2\right)+\cdots +P\left(B_n\right)P\left(A\mid B_n\right).\end{array}$$
Bayes 公式
$$P\left(B_i\mid A\right)=\frac{P\left(B_i\right)P\left(A\mid B_i\right)}{{\sum }_{j=1}^{n}P\left(B_j\right)P\left(A\mid B_j\right)},i=1,2,\cdots ,n.$$
Bayes 公式本质上是条件概率公式:
$$P\left(B_i\mid A\right)=\frac{P\left(A{B}_i\right)}{P(A)},$$
只是其分子、分母进一步分别使用了乘法公式和全概率公式.

• 全概率公式表达了 “综合考虑引起结果 $A$ 的各种原因 $B_i$, 计算导致结果 $A$ 出现的可能性的大小”; 如果一个事件的发生有多个 “诱因”, 就要用到全概率公式.
• Bayes 公式则反映了 “当结果 $A$ 出现时, 它是由原因 $B_i$ 引起的可能性的大小”. Bayes 公式常用来 追究责任, 或者 “执果索因”. 也就是计算各个 “诱因” 对事件发生的 “贡献”.

例题：

发报台分别以概率0.6和0.4发出信号“1”和“0”。由于通讯系统受到干扰，当发出信号“1”时，收报台未必收到信号“1”，而是分别以概率0.8和0.2收到信号“1”和“0”；同时，当发出信号“0”时，收报台分别以概率0.9和0.1收到信号“0”和“1”。求（1）收报台收到信号“1”的概率；（2）当收报台收到信号“1”时，发报台确是发出信号“1”的概率。

正确答案：

设A1=“发出信号1”，A0=“发出信号0”，A=“收到信号1”

(1)由全概率公式，有P(A)=P(A|A1)P(A1)+P(A|A0)P(A0)=0.8x0.6+0.1x0.4=0.52

(2)由贝叶斯公式，有P(A1|A)=P(A|A1)P(A1)/P(A)=0.8x0.6/0.52=12/13

2. 随机变量及其概率分布

2.0 密度函数与分布函数

概率密度函数定义

• 设 $X$ 是随机变量, 如果存在非负函数 $f(x)$ 使得对任何满 足 $-\infty \le a<b\le \infty$ 的 $a,b$, 有
  $$P(a<X\le b)={\int }_a^{b}f(x)dx,$$
  就称 $X$ 是连续型随机变量, 称 $f(x)$ 是 $X$ 的概率密度函数, 简称为概 率密度 (probability density) 或密度.

分布密度性质

• 设 $f(x)$ 是 $X$ 的概率密度, 则 $f(x)$ 有如下的基本性质.
  (a) ${\int }_{-\infty }^{\infty }f(x)dx=1$,
  (b) $P(X=a)=0$. 于是 $P(a<X\le b)=P(a\le X\le b)$,

• 证明: (a) 由
  $${\int }_{-\infty }^{\infty }f(x)dx=P(-\infty <X\le \infty )=1$$
  可得。

• (b)
  $$\mathrm{Pr}(X=a)\le \mathrm{Pr}(X\in (a-\epsilon ,a])={\int }_{a-\epsilon }^{a}f(x)dx\to 0,\epsilon \to 0.$$

概率分布函数定义

• 对随机变量 $X$, 称 $x$ 的函数
  $$F(x)=P(X\le x),-\infty \le x\le \infty ,$$
  为 $X$ 的概率分布函数, 简称为分布函数 (distribution function), 也称 为累积 (cumulative) 分布函数。
• 例: $\Phi (x)={\int }_{-\infty }^x\phi (t)dt$ 是标准正态分布的分布函数.

离散型随机变量的分布函数

• 从定义看出, 如果 $X$ 是离散型随机变量, 有概率分布
  $$p_k=P\left(X=x_k\right),k=1,2,\cdots ,$$
  则 $X$ 的分布函数
  F ( x ) = P ( X ≤ x ) = P ( ⋃ j : x j ≤ x { X = x j } ) = ∑ j : x j ≤ x p j F(x)=P(X \leq x)=P\left(\bigcup_{j: x_{j} \leq x}\left\{X=x_{j}\right\}\right)=\sum_{j: x_{j} \leq x} p_{j} F(x)=P(X≤x)=P⎝ ⎛​j:xj​≤x⋃​{X=xj​}⎠ ⎞​=j:xj​≤x∑​pj​
• 是单调不减的阶梯函数.

连续型随机变量的分布函数

• 如果 $X$ 是连续型随机变量, 有概率密度 $f(x)$, 则
  $$F(x)={\int }_{-\infty }^{x}f(t)dt$$
  是连续函数, 并且在 $f(x)$ 的连续点 $x$ 有 $f(x)=F^{\prime }(x)$. 我们称 $F(x)$ 是 $f(x)$ 的分布函数.

分布函数性质

• 分布函数 $F(x)$ 的常用性质:
  (1) $F$ 单调不减右连续,
  (2) $F(\infty )=1,F(-\infty )=0$.

证明

• (1) 对 $x<y$, 单调不减性由
  { x < X ≤ y } = { X ≤ y } − { X ≤ x } \{x<X \leq y\}=\{X \leq y\}-\{X \leq x\} {x<X≤y}={X≤y}−{X≤x}
  和 $P(x<X\le y)=P(X\le y)-P(X\le x)=F(y)-F(x)\ge 0$ 得到.
• 由于 $n$ 越大, 集合 { X ≤ x + 1 / n } \{X \leq x+1 / n\} {X≤x+1/n} 越小, 所以用 $F$ 的单调性和概率 $P$ 的连续性得到
  lim ⁡ δ ↓ 0 F ( x + δ ) = lim ⁡ n → ∞ F ( x + 1 / n ) = lim ⁡ n → ∞ P ( X ≤ x + 1 / n ) = P ( ∩ n = 1 ∞ { X ≤ x + 1 / n } ) = P ( X ≤ x ) = F ( x ) . \begin{aligned} \lim _{\delta \downarrow 0} F(x+\delta) &=\lim _{n \rightarrow \infty} F(x+1 / n) \\ &=\lim _{n \rightarrow \infty} P(X \leq x+1 / n) \\ &=P\left(\cap_{n=1}^{\infty}\{X \leq x+1 / n\}\right) \\ &=P(X \leq x)=F(x) . \end{aligned} δ↓0lim​F(x+δ)​=n→∞lim​F(x+1/n)=n→∞lim​P(X≤x+1/n)=P(∩n=1∞​{X≤x+1/n})=P(X≤x)=F(x).​
• (2) 由 $F(\infty )=P(X\le \infty )=P(\Omega )=1$ 和 $F(-\infty )=P(X\le -\infty )=$ $P(\varnothing )=0$ 得到 (2).

2.1 已知密度函数 $f(x)$, 求分布函数 $F(x)$

密度函数 $f(x)$ 一般是分段函数. 由 $f(x)$ 求 $F(x)$, 本质上是分段函数求积分的问题!

典型例题:
设随机变量 $X$ 具有概率密度
$$f(x)=\{\begin{array}{ll}kx,& 0⩽x<3,\\ 2-\frac{x}{2},& 3⩽x⩽4,\\ 0,& \text{ 其它. }\end{array}$$
(1) 确定常数 $k$; (2) 求 $X$ 的分布函数 $F(x)$; (3) 求 P { 1 < X ⩽ 3.5 } P\{1<X \leqslant 3.5\} P{1<X⩽3.5}.

解

(1) 由 ${\int }_{-\infty }^{+\infty }f(x)\mathrm{d}x=1$, 得
$${\int }_0^{3}kx\mathrm{d}x+{\int }_3^4\left(2-\frac{x}{2}\right)\mathrm{d}x=1,$$
解得 $k=\frac{1}{6}$.

(2) 对 $F(x)={\int }_{-\infty }^{x}f(t)\mathrm{d}t$,

• $x<0$ 时, $F(x)={\int }_{-\infty }^{x}f(t)\mathrm{d}t={\int }_{-\infty }^{x}0\mathrm{d}t=0$.
• $0⩽x<3$ 时, $F(x)={\int }_{-\infty }^{0}0\mathrm{d}t+{\int }_0^x\frac{t}{6}\mathrm{d}t=\frac{x^2}{12}$.
• $3⩽x<4$ 时,
  $$\begin{array}{rl}F(x)& ={\int }_{-\infty }^{0}0\mathrm{d}t+{\int }_0^3\frac{t}{6}\mathrm{d}t+{\int }_3^x\left(2-\frac{t}{2}\right)\mathrm{d}t\\ & =-3+2x-\frac{x^2}{4}\end{array}$$
• $x⩾4$ 时, $F(x)=1$.
  即
  $$F(x)=\{\begin{array}{ll}0,& x<0\\ \frac{x^2}{12},& 0⩽x<3\\ -3+2x-\frac{x^2}{4},& 3⩽x<4,\\ 1,& x⩾4\end{array}$$
  做完一定要验算: $F^{\prime }(x)=f(x)$.

(3) P { 1 < x ⩽ 3.5 } = F ( 3.5 ) − F ( 1 ) = 41 / 48 P\{1<x \leqslant 3.5\}=F(3.5)-F(1)=41 / 48 P{1<x⩽3.5}=F(3.5)−F(1)=41/48.

2.2 随机变量的函数

已知连续型随机变量 $X$ 的概率密度 $f_X(x)$, 求随机变量 $Y=g(X)$ 的概率密度 $f_Y(y)$, 两种方法:

• 分布函数微分法
  已知随机变量 $X$ 具有概率密度
  $$f_X(x)=\{\begin{array}{ll}f(x),& a<x<b,\\ 0,& \text{ 其他. }\end{array}$$
  对随机变量 $Y=g(X)$, 要求 $f_Y(y)$. 则对函数关系 $y=g(x)$, 给出反函数 $x=h(y)$, 有
  $$f_Y(y)=\{\begin{array}{ll}f(h(y))\cdot \left|h^{\prime }(y)\right|,& a<h(y)<b,\\ 0,& \text{ 其他. }\end{array}$$
  其中函数 $y=g(x)$ 处处可导且单调.
• 积分转化法.

典型例题:
设随机变量 $X$ 具有概率密度
$$f_X(x)=\{\begin{array}{ll}\frac{x}{8},& 0<x<4,\\ 0,& \text{ 其他. }\end{array}$$
求 $Y=2X+8$ 的概率密度 $f_Y(y)$.

解 先求 $Y$ 的分布函数. (请自已注明下述各个步骤的理由.)
F Y ( y ) = P { Y ⩽ y } = P { 2 X + 8 ⩽ y } = P { X ⩽ y − 8 2 } = ∫ − ∞ y − 8 2 f X ( x ) d x \begin{aligned} F_{Y}(y) &=P\{Y \leqslant y\} \\ &=P\{2 X+8 \leqslant y\} \\ &=P\left\{X \leqslant \frac{y-8}{2}\right\} \\ &=\int_{-\infty}^{\frac{y-8}{2}} f_{X}(x) \mathrm{d} x \end{aligned} FY​(y)​=P{Y⩽y}=P{2X+8⩽y}=P{X⩽2y−8​}=∫−∞2y−8​​fX​(x)dx​
注意到积分上限函数求导法则 ${\left({\int }_{-\infty }^{\phi (x)}f(x)\mathrm{d}x\right)}^{\prime }=f(\phi (x)){\phi }^{\prime }(x)$, 上式两端关于 $y$ 求导, 得
$$\begin{array}{rl}{f}_Y(y)& =f_X\left(\frac{y-8}{2}\right)\cdot {\left(\frac{y-8}{2}\right)}_y^{\prime }\\ & =\frac{1}{2}{f}_X\left(\frac{y-8}{2}\right)\\ & =\{\begin{array}{ll}\frac{1}{2}\cdot \frac{y-8}{2},& 0<\frac{y-8}{2}<4,\\ 0,& \text{ 其他. }\end{array}\\ & =\{\begin{array}{ll}\frac{y-8}{32},& 8<y<16,\\ 0,& \text{ 其他. }\end{array}\end{array}$$
上述方法体现为下面的一般结论. 称为单调函数公式法:

2.3 正态分布

• 正态分布的标准化: 若 $X\sim N\left(\mu ,{\sigma }^2\right)$, 则 $\frac{X-\mu }{\sigma }\sim N(0,1)$.
  对一般的随机变量也可以 “标准化”, 即使它不一定服从正态分布. 事实上, $X$ 标准化变量为
  $$X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}},$$
  则
  $$E\left(X^{\ast }\right)=0,D\left(X^{\ast }\right)=1.$$
• 正态分布的再生性: 设 $X,Y$ 相互独立, $X\sim N\left({\mu }_1,{\sigma }_1^2\right),Y\sim N\left({\mu }_2,{\sigma }_2^2\right)$, 则
  $$\begin{array}{c}X+Y\sim N\left({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2\right)\\ aX\pm bY\sim N\left(a{\mu }_1\pm b{\mu }_2,a^2{\sigma }_1^2+b^2{\sigma }_2^2\right).\end{array}$$
• $\Phi (-x)=1-\Phi (x)$.
• $z_{1-\alpha }=-z_{\alpha }$.

2.4 常用的概率分布表

3. 多维随机变量及其概率分布

3.1 边缘分布与边缘密度

边缘分布

• 设 $F(x,y)$ 是 $(X,Y)$ 的联合分布, 则 $X,Y$ 分别有概率分布
  $$\begin{array}{rl}& F_X(x)=P(X\le x,Y\le \infty )=F(x,\infty ),\\ & F_Y(y)=P(X\le \infty ,Y\le y)=F(\infty ,y).\end{array}$$
  我们称 $X$ 的分布函数 $F_X(x),Y$ 的分布函数 $F_Y(x)$ 为 $(X,Y)$ 的边缘 分布函数 (marginal distribution function).

边缘密度

• 设 $f(x,y)$ 是随机向量 $(X,Y)$ 的概率密度, 则 $X$ 和 $Y$ 也都是连续型 随机变量, 我们称 $X,Y$ 各自的概率密度为 $f(x,y)$ 或 $(X,Y)$ 的边缘 密度 (marginal density).
• 对任何 $a<b$, 有
  $$\begin{array}{rl}P(a<X\le b)& =P(a<X\le b,Y<\infty )\\ & ={\int }_a^b\left({\int }_{-\infty }^{\infty }f(x,y)dy\right)dx\end{array}$$
  由概率密度的定义知道 $X$ 有边缘密度
  $$f_X(x)={\int }_{-\infty }^{\infty }f(x,y)dy.$$
• 完全对称地得到 $Y$ 的边缘函数
  $$f_Y(y)={\int }_{-\infty }^{\infty }f(x,y)dx$$

联合分布与联合密度

• 设 $(X,Y)$ 有连续的分布函数 $F(x,y)$, 定义
  $$f(x,y)=\{\begin{array}{ll}\frac{{\partial }^{2}F(x,y)}{\partial x\partial y},& \text{ 当该混合偏导数存在, }\\ 0,& \text{ 其他. }\end{array}$$
  如果
  $${\iint }_{R^2}f(x,y)dxdy=1,$$
  则 $f(x,y)$ 是 $(X,Y)$ 的联合密度.

独立性的判断, 即看下列式子是否成立:
$$联合=边缘\times 边缘.$$

联合概率计算的例子

• 两人某天在 1 点至 2 点间独立地随机到达某地会面, 先到者等 候 20 分钟后离去. 求这两人能相遇的概率.
• 解 认为每个人在 0 至 60 分钟内等可能到达, 用 $X,Y$ 分别表示他们 的到达时间. 则 $X\sim \mathrm{U}(0,60),Y\sim \mathrm{U}(0,60),X,Y$ 独立. 利用
  $$f_X(x)=f_Y(x)=\{\begin{array}{ll}\frac{1}{60},& x\in (0,60),\\ 0,& x\notin (0,60),\end{array}$$
  得到 $(X,Y)$ 的联合密度
  $$f(x,y)=f_X(x)f_Y(y)=\{\begin{array}{ll}1/60^2,& (x,y)\in D,\\ 0,& (x,y)\notin D.\end{array}$$
  其中 $D=\{(x,y)\mid 0\le x,y\le 60\}$.
  $$A=\{(x,y)||x-y\mid \le 20,(x,y)\in D\}.$$
  要计算的概率是
  $$\begin{array}{rl}P(|X-Y|\le 20)& ={\iint }_{A}f(x,y)dxdy\\ & =\frac{60^2-40^2}{60^2}=\frac{5}{9}.\end{array}$$
  

3.2 随机变量函数的分布

例题

设二维随机变量 $(X,Y)$ 的概率密度为
$$f(x,y)=\{\begin{array}{ll}1,& 0<x<1,0<y<2x,\\ 0,& \text{ 其他. }\end{array}$$
求:
(I) $(X,Y)$ 的边缘概率密度 $f_X(x),f_Y(y)$;
(II) $Z=2X-Y$ 的概率密度 $f_Z(z)$.

解
(I) 注意到 $f(x,y)$ 在 $X$-型区域 $\{\begin{array}{l}0<y<2x,\\ 0<x<1\end{array}$ 上有非零表达式, 该区域可以转化为 $Y$-型区 域 $\{\begin{array}{l}\frac{y}{2}<x<1,\\ 0<y<2\text{. }\end{array}$ 则
$$\begin{array}{rl}& f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}y=\{\begin{array}{ll}{\int }_0^{2x}\mathrm{d}y,& 0<x<1,\\ 0,& \text{ 其他. }\end{array}=\{\begin{array}{ll}2x,& 0<x<1,\\ 0,& \text{ 其他. }\end{array}\\ & \\ & f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)\mathrm{d}x=\{\begin{array}{ll}{\int }_{\frac{y}{2}}^1\mathrm{d}x,& 0<y<2,\\ 0,& \text{ 其他. }\end{array}=\{\begin{array}{ll}1-\frac{y}{2},& 0<y<2,\\ 0,& \text{ 其他. }\end{array}\end{array}$$
(II) 用积分转化法. 此时 $g(x,y)=2x-y$. 对任何有界连续函数 $h(z)$,
$$\begin{array}{rl}{\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }h[g(x,y)]f(x,y)\mathrm{d}x\mathrm{d}y& ={\int }_0^1\left({\int }_0^{2x}h(2x-y)\cdot 1\mathrm{d}y\right)\mathrm{d}x\\ & ={\int }_0^1\left({\int }_{2x}^{0}h(z)(-1)\mathrm{d}z\right)\mathrm{d}x(\text{ 换元 }z=2x-y)\\ & ={\int }_0^1\left({\int }_0^{2x}h(z)\mathrm{d}z\right)\mathrm{d}x\\ & ={\int }_0^2\left(h(z){\int }_{\frac{z}{2}}^1\mathrm{d}x\right)\mathrm{d}z\text{ (交换积分次序) }\\ & ={\int }_0^{2}h(z)\left(1-\frac{z}{2}\right)\mathrm{d}z,\end{array}$$
得 $Z$ 的概率密度为
$$f_Z(z)=\{\begin{array}{ll}1-\frac{z}{2},& 0<z<2,\\ 0,& \text{ 其他. }\end{array}$$

3.3 条件分布和条件密度

条件分布

• 设 $\mathbf{X}=\left(X_1,X_2,\cdots ,X_n\right),\mathbf{Y}=\left(Y_1,Y_2,\cdots ,Y_m\right)$ 是随机向量, 本节讨 论已知 $\mathbf{X}=\left(x_1,x_2,\cdots ,x_m\right)$ 的条件下, $\mathbf{Y}$ 的概率分布.
• 为了叙述的简单, 我们只对 $n=m=1$ 的情况详细讨论.
  离散型随机变量的条件分布
• 设 $(X,Y)$ 是离散型随机向量, 有概率分布
  $$p_{ij}=P\left(X=x_i,Y=y_j\right)>0,i,j=1,2,\cdots ,$$
• $X,Y$ 分别有边缘分布
  $$p_i=P\left(X=x_i\right),q_j=P\left(Y=y_j\right),i,j=1,2,\cdots .$$
• 对每个固定的 $i$, 由条件概率公式得到条件概率
  $$P\left(Y=y_j\mid X=x_i\right)=\frac{P\left(X=x_i,Y=y_j\right)}{P\left(X=x_i\right)}=\frac{p_{ij}}{p_i},j=1,2,\dots$$
  为条件 $X=x_i$ 下, $Y$ 的条件概率分布, 简称为条件 分布 (conditional distribution).

条件密度

• 设随机向量 $(X,Y)$ 有联合密度 $f(x,y),X$ 有边缘密度 $f_X(x)$, 若在 $x$ (确定的 $x)$ 处 $f_X(x)>0$, 就称
  $$P(Y\le y\mid X=x)={\int }_{-\infty }^y\frac{f(x,t)}{f_X(x)}dt,y\in \mathbb{R}$$
  为条件 $X=x$ 下, $Y$ 的条件分布函数 (conditional distribution function), 简称为条件分布, 记做 $F_{Y\mid X}(y\mid x)$.
• 称
  $$f_{Y\mid X}(y\mid x)=\frac{f(x,y)}{f_X(x)},y\in \mathbb{R},$$
  为条件 $X=x$ 下, $Y$ 的条件概率密度, 简称为条件密度 (conditional density).

4. 随机变量的数字特征

4.1 数学期望

数学期望定义一离散型

• 定义 $1.1$ 设 $X$ 有概率分布
  $$p_j=P\left(X=x_j\right),j=0,1,\cdots ,$$
  只要级数 ${\sum }_{j=0}^{\infty }\left|x_j\right|p_j$ 收敛, 就称
  $$\mathrm{E}(X)=\sum _{j=0}^{\infty }{x}_j{p}_j$$
  为 $X$ 或分布 { p j } \left\{p_{j}\right\} {pj​} 的数学期望 (expected value) 或均值 (mean).
• 要求 ${\sum }_{j=0}^{\infty }\left|x_j\right|p_j$ 收敛的原因是要使上式中的级数有确 切的意义.
• 当所有的 $x_j$ 非负时, 如果 上式中的级数是无穷, 由上式定义的 $\mathrm{E}(X)$ 也有明确的意义, 它表明 $X$ 的平均取值是无穷. 这时也称 $X$ 的 数学期望是无穷.
• 不难看出, 只取有限个值的随机变量的数学期望总是存在的.

数学期望定义一连续型

• 设 $X$ 是有概率密度 $f(x)$ 的随机变量, 如果下式成立,
  $${\int }_{-\infty }^{\infty }|x|f(x)dx<\infty ,$$
  就称
  $${\int }_{-\infty }^{\infty }xf(x)dx$$
  为 $X$ 或 $f(x)$ 的数学期望或均值.

• 由于随机变量的数学期望由随机变量的概率分布唯一决定, 所以也可 以对概率分布定义数学期望.

• 概率分布的数学期望就是以它为概率分布的随机变量的数学期望. 有 相同分布的随机变量必有相同的数学期望.

期望的计算

计算公式
$$\begin{array}{rl}E(X)& ={\int }_{-\infty }^{+\infty }xf(x)\mathrm{d}x,\\ & \\ E(g(X))& ={\int }_{-\infty }^{+\infty }g(x)f(x)\mathrm{d}x.\\ & \\ E(g(X))& =\sum _{k=1}^{\infty }g\left(x_k\right)p_k\end{array}$$

数学期望的几个重要性质

1. 设 $C$ 是常数, 则有 $E(C)=C$
2. 设 $\mathrm{X}$ 是随机变量, $\mathrm{C}$ 是常数, 则有 $E(CX)=CE(X)$
3. 设 $\mathrm{X},\mathrm{Y}$ 是两个随机变量, 则有 $E(X+Y)=E(X)+E(Y)$;
4. 设 $X,Y$ 是相互独立的随机变量，则有 $E(XY)=E(X)E(Y)$

4.2 方差的性质与计算

方差的计算:

$$\begin{array}{rl}D(X)& =E\left[(X-E(X){)}^2\right]\\ & =E\left(X^2\right)-(E(X){)}^2.\end{array}$$

记 $E(X)=\mu$, 由方差定义式 $D(X)=E\left[(X-\mu {)}^2\right]$, 可见方差其实是一个期望, 是随机变量函 数 $(X-\mu {)}^2$ 的期望. 由随机变量函数期望的求法, 故有
$$D(X)={\int }_{-\infty }^{+\infty }(x-\mu {)}^{2}f(x)\mathrm{d}x.$$
方差的性质:

• $D(C)=0$,
• $D(X+C)=D(X)$.
• $D(aX)=a^{2}D(X),D(-X)=D(X)$.
• $D(X+Y)=D(X)+D(Y)+2\mathrm{Cov}(X,Y)$.
  $X$ 与 $Y$ 不相关 $\iff D(X+Y)=D(X)+D(Y)$.
  $X$ 与 $Y$ 相互独立 $⟹D(X+Y)=D(X)+D(Y)$.
• $D(aX\pm bY)=a^{2}D(X)+b^{2}D(Y)$, 其中 $X$ 与 $Y$ 相互独立.

例题

设随机变量 $X,Y$ 相互独立, 且都服从均值为 0 , 方差为 $\frac{1}{2}$ 的正态分布. 求随机变量 $|X-Y|$ 的方 差,
解 令 $Z=X-Y$. 由题设知, $Z\sim N(0,1)$. 对
$$\begin{array}{rl}D(|X-Y|)& =D(|Z|)=E\left(|Z{|}^2\right)-[E(|Z|){]}^2\\ & =E\left(Z^2\right)-[E(|Z|){]}^2\end{array}$$
由 $E\left(Z^2\right)=D(Z)+[E(Z){]}^2=1+0=1$, 且
$$\begin{array}{rl}E(|Z|)& =\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^{+\infty }|z|{\mathrm{e}}^{-z^2/2}\mathrm{d}z=\frac{2}{\sqrt{2\pi }}{\int }_0^{+\infty }|z|{\mathrm{e}}^{-z^2/2}\mathrm{d}z=\frac{2}{\sqrt{2\pi }}{\int }_0^{+\infty }z{\mathrm{e}}^{-z^2/2}\mathrm{d}z\\ & =-\frac{2}{\sqrt{2\pi }}{\int }_0^{+\infty }\mathrm{d}\left({\mathrm{e}}^{-z^2/2}\right)={\frac{2}{\sqrt{2\pi }}{\mathrm{e}}^{-z^2/2}|}_0^{+\infty }\\ & =\sqrt{\frac{2}{\pi }}\end{array}$$
故 $D(|X-Y|)=E\left(Z^2\right)-[E(|Z|){]}^2=1-\frac{2}{\pi }$.

4.3 协方差与相关系数

协方差的计算:
$$\begin{array}{rl}\mathrm{Cov}(X,Y)& =E[(X-E(X))(Y-E(Y))]\\ & =E(XY)-E(X)E(Y).\end{array}$$

相关系数的计算:
$$\begin{array}{rl}{\rho }_{XY}& =\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\\ & =\frac{E[(X-E(X))(Y-E(Y))]}{\sqrt{D(X)}\sqrt{D(Y)}}.\end{array}$$
随机变量的相关系数 $=$ 随机变量 “标准化” 后的协方差. 事实上, $X,Y$ 标准化为
$$X^{\ast }=\frac{X-E(X)}{\sqrt{D(X)}},Y^{\ast }=\frac{Y-E(Y)}{\sqrt{D(Y)}},$$
则
$${\rho }_{XY}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\mathrm{Cov}\left(X^{\ast },Y^{\ast }\right).$$
相关系数的性质

• $|\rho |⩽1$. 其中
  • $|\rho |=1⟺X$ 与 $Y$ 之间存在线性关系，即存在常数 a， b 使 P { Y = a + b X } = 1 P\{Y = a + bX\}=1 P{Y=a+bX}=1;
  • $\rho =0⟺X$ 与 $Y$ 之间不存在线性关系, 或称 $X$ 与 $Y$ 不相关.
    强调: 不相关是 “不线性相关”的简称!
• 以下命题是等价的:
  • $X$ 与 $Y$ 不相关.
  • ${\rho }_{XY}=0$.
  • $\mathrm{Cov}(X,Y)=0$.
  • $E(XY)=E(X)E(Y)$.
  • $D(X+Y)=D(X)+D(Y)$.
• $X$ 与 $Y$ 独立 $⟹X$ 与 $Y$ 不相关. 反之不一定成立.

4.4 切比雪夫不等式

P { ∣ X − E ( X ) ∣ ⩾ ε } ⩽ D ( X ) ε 2 , P\{|X-E(X)| \geqslant \varepsilon\} \leqslant \frac{D(X)}{\varepsilon^{2}}, P{∣X−E(X)∣⩾ε}⩽ε2D(X)​,
或等价地
P { ∣ X − E ( X ) ∣ < ε } ⩾ 1 − D ( X ) ε 2 . P\{|X-E(X)|<\varepsilon\} \geqslant 1-\frac{D(X)}{\varepsilon^{2}} . P{∣X−E(X)∣<ε}⩾1−ε2D(X)​.

5. 概率极限定理

中心极限定理即言: 大量独立同分布的随机变量之和, 近似服从正态分布

中心极限定理:

(1) 设随机变量 $X_1,X_2,\cdots ,X_n$ 独立同分布, $E\left(X_k\right)=\mu ,D\left(X_k\right)={\sigma }^2,k=1,2\cdots ,n$. 从而,
$$E\left(\sum _{k=1}^n{X}_k\right)=n\mu ,D\left(\sum _{k=1}^n{X}_k\right)=n{\sigma }^2.$$
则近似地有
$$\sum _{k=1}^n{X}_k\sim N\left(n\mu ,n{\sigma }^2\right),$$
上式一般用于求解和的概率问题.

进一步 “标准化” 得
$$\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\sim N(0,1).$$
等价地,
$$\frac{\frac{1}{n}{\sum }_{k=1}^n{X}_k-\mu }{\sigma /\sqrt{n}}\sim N(0,1).$$
记 $\bar{X}=\frac{1}{n}{\sum }_{k=1}^n{X}_k$, 则
$$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1).$$
等价地,
$$\bar{X}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right).$$
也可以直接由 $E\left(X_k\right)=\mu ,D\left(X_k\right)={\sigma }^2$, 得 $E(\bar{X})=\mu ,D(\bar{X})=\frac{{\sigma }^2}{n}$.
上式一般用于求解平均值的概率问题.

(2) 设 $n_A$ 为 $n$ 重伯努利试验中事件 $A$ 出现的次数, 且 $A$ 在每次实验中发生的概率为 $p$. 则 $n_A$ 服从 二项分布 $B(n,p)$, 从而
$$E\left(n_A\right)=np,D\left(n_A\right)=np(1-p).$$
当 $n$ 很大时, $n_A$ 的 “标准化” 变量 $\frac{n_A-E\left(n_A\right)}{\sqrt{D(n_A})}$ 近似服从正态分布, 即
$$\frac{n_A-np}{\sqrt{np(1-p)}}\sim N(0,1).$$

例题

一生产线生产的产品成箱包装, 每箱的重量是随机的. 假设每箱平均重 50 千克, 标准差为 5 千克. 若用最大载重量为 5 吨的汽车承运, 试利用中心极限定理说明每辆车最多可以装多少箱, 才能保障不超 载的概率大于 $0.977$.

解 ：

设所求箱数为 $n$, 每箱的重量记为 $X_1,X_2,\cdots ,X_n$. 由题设可把 $X_1,X_2,\cdots ,X_n$ 视为独立同分布 随机变量. 又
$$E\left(X_i\right)=50,D\left(X_i\right)=5^2,(i=1,2,\cdots ,n)$$
根据中心极限定理, 有 ${\sum }_{i=1}^n{X}_i$ 近似服从正态分布 $\left(n\cdot 50,n\cdot 5^2\right)$.
问题即求 $n$ 使
$$P\left\{\sum _{i=1}^n{X}_i⩽5000\right\}>\mathrm{0.977.}$$
其中
$$\begin{array}{rl}P\left\{\sum _{i=1}^n{X}_i⩽5000\right\}& =P\left\{\frac{{\sum }_{i=1}^n{X}_i-50n}{5\sqrt{n}}⩽\frac{5000-50n}{5\sqrt{n}}\right\}\\ & \approx \Phi \left(\frac{1000-10n}{\sqrt{n}}\right)\end{array}$$
故
$$\Phi \left(\frac{1000-10n}{\sqrt{n}}\right)>0.977=\Phi (2),$$
即
$$\frac{1000-10n}{\sqrt{n}}>2,$$
从而 $n<98.0199$, 即最多可以装 98 箱.